他人の口の動きをリアルタイムで自分の口に再現する技術 ドコモとH2Lが開発
2020年1月13日 20:18
H2LとNTTドコモは10日、他者の口の動きや表情をリアルタイムで自分の顔に再現するデバイス「Face Sharing」を開発したと発表した。他者の表情や口の動かし方などをリアルタイムで体験可能となり、上手なプレゼンターの真似をしながらプレゼンの練習をするといった使い方が想定される。
なお「Face Sharing」は、23日と24日に東京ビッグサイトで開催されるNTTドコモ主催のイベント「DOCOMO Open House 2020」で展示される予定だ。
H2Lは、人間の能力を引き出すことを支援するハードウェア及びソフトウェアの企画や開発を主力事業とする。スマートフォンと組み合わせてVR/ARのアプリケーションを腕で操作する「FirstVR」や、コンピュータで人の手を制御して筋肉を収縮させるハードウェア「PossessedHand」などを販売する。
「Face Sharing」は、口の周りにデバイスを装着し、電気の刺激を与えて筋肉を収縮させ、AIにより指定した動きを再現させる技術だ。発信者がマイクに向かって話した音声や、カメラが捉えたまばたきや顔の動きなどを信号で伝達し、電気で相手の筋肉を収縮させる。
「Face Sharing」を複数の人に装着することで、同時に再現させることも可能となる。また5Gを利用することで、遠隔でも口の動きや表情を再現できる。
活用方法としては、違う言語でのコミュニケーションや、プロの歌手の口の動かし方を学ぶといったことが考えられる。
開発にあたり、H2Lは電気による刺激で身体を制御するノウハウや、「BodySharing」技術を提供し、NTTドコモは5Gネットワークの提供と研究開発の運営という役割を担った。
H2LとNTTドコモは、口の動かし方を伝えるのが難しい外国語の発音や演技指導などでも、「Face Sharing」を用いることで、直接口を動かして伝えられるようにすることを目指す。また今後も「Face Sharing」と「BodySharing技術」を更に進化させ、身体全体への拡張なども検討するとしている。（記事：まなたけ・記事一覧を見る）