研究のタネは好奇心です。面白そうなアプリがあるといろいろ試したり、美術館でゴッホを鑑賞して絵に触れてみたいと思う。それらの体験から、音楽と光が共鳴するVR演出の制作支援ツール『ParticleAlive』や、触覚デバイス『MaRFace』の研究へとつながりました。
「もっと使いやすくしよう」「手触りを再現したい」という純粋な思いからスタートして、仮説と検証を繰り返し、数多の選択肢からゴールにたどり着いたときの達成感はほかでは得ることができません。この世にまだなくて、誰も研究していないのなら、自分が挑戦して、世界の最先端の領域を広げていける。その楽しさが、研究の魅力です。
研究名ParticleAlive：歌詞駆動パーティクルライブ制作支援ツール
目的 制作の効率化により、クリエイターが創造活動に専念できるようにする
上村 宙さん 情報メディア学科 4年（札幌開成中等教育学校 出身）
没入型映像ライブ「パーティクルライブ」の制作には高度な専門知識と膨大な労力を要する。産業技術総合研究所の「TextAlive」「Songle」というWebサービスの技術を用いて、演出を自動化する「パーティクルライブ制作支援ツール」を開発した。楽曲情報を読み込むと、歌詞やパーティクル（光の粒子）が自動的に配される。
AIの活用
ParticleAliveを作るにあたって、演出の分析やUnityエディタ拡張の複雑なシステムの実装は大きな課題であった。そこでAIを活用し、動画解析の自動化によって演出内容と時間情報を効率的に抽出するとともに、コーディング支援を取り入れることで実装の高速化と高機能化を実現した。
ほかにも研究中！
床面圧力センサによる人物同定手法の開発
防犯カメラによるプライバシー侵害問題を解決するため、顔認証に代わるものとして、歩行時の足裏の圧力変化だけで個人を識別できるデバイスを開発した。
2024年度 新雪プログラム採択
MaRFace：MR流体を用いて形状と硬さを動的に提示する触覚デバイスの開発
趣味の美術館めぐりや料理から、展示作品の手触りやパン生地のやわらかさを再現したいと考え、形状と硬さを動的に表現できるデバイスを開発した。
