スマホで全身をモーションキャプチャし3Dキャラクターに反映！カメラ1つで骨格座標を3D解析するデモ映像を公開／6月販売予定

～Unityをサポートし、Vtuber配信・ゲームなどアプリ組込での利用が可能～

サービス

2019年3月26日 16:00

株式会社ネクストシステム(本社：福岡県福岡市、代表取締役：藤田義生)は、開発中の「VisionPose Single3D(以下 Single3D)」の利用例として、スマートフォンにて全身をリアルタイムでモーションキャプチャし、動きを3Dキャラクターに反映するデモ映像を公開しました。

全身モーションキャプチャ

Single3Dは当社が提供するVisionPoseシリーズの1つであり、WEBカメラとAI(ディープラーニング）を利用して人間の骨格座標を検出するシステムです。同シリーズのVisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能です。

なお、本デモ映像で利用したSingle3D(iOS版)は2019年6月販売予定です。

動画は下記からご確認ください。

https://youtu.be/f7_3-HK2-Ss

■カメラ1台で3D推論！より手軽なSingle3Dとは？

Single3Dとは、深度センサに依存せずAIの技術要素であるディープラーニング(深層学習)を使うことで、骨格の3D座標の検出をWEBカメラ1台のみで可能にしたVisionPoseシリーズの1つです。

提供方法：PC版とiOS版をそれぞれSDKとして提供します。

PC版　　：C#/C++向けのライブラリ

iOS版　：Swift向けのライブラリ

※Unityサンプルコードあり

通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要がありますが、Single3Dは特別なデバイスを体には一切装着せず、カメラ1台で3D座標を取得できます。デモ映像ではスマートフォンのカメラを通して被写体の骨格をリアルタイムに検出し、アバターに動きを反映させました。

カメラが1台しか用意できないケースや、スマートフォンへの搭載時などにオススメです。

▼VisionPose Single3Dを利用したアプリで3Dキャラクターを実際動かした例

https://www.atpress.ne.jp/releases/180368/img_180368_3.jpg

▼VisionPose Single3Dの検出ポイント図

https://www.atpress.ne.jp/releases/180368/img_180368_2.jpg

■想定される応用分野と社会性について

骨格推定を用いたディープラーニングによる画像認識について、昨今はさまざまな分野における活用が期待されていますが、例えば下記のような利用用途を想定しています。

・フォームチェックや採点補助などスポーツの動作解析

・監視カメラを用いた不審者の検知や急病人の検知

・消費者の行動解析によるインサイト調査(無人レジなど)

・バーチャルYouTuber(Vtuber)配信やアーケードゲームなどエンタメ分野への応用

どれも近頃耳にすることが多くなった項目ですが、これらは骨格検出技術の発展により、急速に開発が進められている分野の一例です。このように骨格検出技術の発展は、幅広い分野で社会発展の一端を担っていると言っても過言ではありません。