初音ミク・六本木でライブ　HATSUNE MIKU AR STAGEの開発事例　CEDEC で講演

ソニーは、マーカーレスで空間認識技術を統合したARを「SmartAR」と呼び推進しています。ソニー・コンピューターエンターテインメント研究部の堀川勉氏と金丸義勝氏は同社が取り組むAR技術の最新事例と動向を語りました。

イベント・レポート

2013.8.22 Thu 15:30

ソニーは、マーカーレスで空間認識技術を統合したARを「SmartAR」と呼び推進しています。ソニー・コンピューターエンターテインメント研究部の堀川勉氏と金丸義勝氏は同社が取り組むAR技術の最新事例と動向を語りました。

■初音ミクが六本木ヒルズに舞い降りる
7月下旬に六本木ヒルズのメトロハットで開催された「HATSUNE MIKU AR STAGE」は大きな反響を呼びました。円柱状のメトロハットの建物に、PSVitaやAndroid端末をかざすと、建物がパズルのピースが解かれるようにして、初音ミクのステージが飛び出しライブを繰り広げます。

この企画はNTTドコモの「ミクスマホ」のキャンペーンとして同社が展開したもので、ARアプリケーションはクリプトンフューチャーメディアの監修の下、SCE研究部とスマイルブームが開発。初音ミクのモデルデータはセガの『初音ミク Project Diva -extend』(PSP)のものを流用しています。

そもそものきっかけは2012年に開発した『AR HOCKEY』というARを使ったエアホッケーのデモだったそうです。GDC等で公開され好評だったこのデモをクリプトンフューチャーメディアに紹介したところ、興味を持たれたことから『Miku Miku Hockey』のプロジェクトがスタートしました(PS Plusで9月10日より配信決定)。ちょうどその頃、NTTドコモからミクスマホの話があり、本件がスタートしたようです。

企画としては、建物に貼られているポスターを認識して映像が流れ、ミクがステージに乗って歌う。画面にタッチすると派手なエフェクトでライブに参加できるような仕組みです。ミクが巨大化してメトロハットの上に乗って歌ような演出もあります。

AR技術自体はこなれてきた感がありますが、技術的に不利な点も幾つかある企画だったと金丸氏は振り返ります。まず夜間の屋外であること。カメラでマーカーを捉えるのに十分な光があるかが問題となります。しかし実地で確かめたところ周囲や建物自体の明るさには問題がなかったそうです。また、曲面をマーカーとしている点も問題になります。さらに、建物が円柱状でいろいろな角度からライブを楽しめるようにしなくてはなりませんでした。このため、縦長なものになり、ある程度の範囲をカバーするために3箇所に設置されました。無論、マーカーといっても二次元バーコードなどではなく、建物に貼られているミクのイラストの幾つかが密かにマーカーとして機能するのです。

技術的には問題は解決できるとしてもかなり入念なテストが必要そうです。しかし六本木の一等地にあるメトロハットをテストのために使用するようなことは不可能です。そこで森ビルから図面の提供を受け、1/70モデルのメトロハットを制作してテストを行ったそうです(ちなみにメトロハットは円柱ながら、わずかに楕円になっていて、そこも難しさを助長したよう)。SCEではモデルを3台用意し入念なテストを行ったそうです(1台は北海道のスマイルブームにも)。

テストでは更なる問題が出てきます。今回はPSVitaだけでなく、Android端末にも対応しました。Androidといったら端末の多さです。ARを実現する上では、端末毎のカメラの画角の違いや、モーションセンサーなどの性能の差異が問題になったそうです。NTTドコモにも協力を仰ぎ、約90台の端末を使ってテストを実施。どうしても動作不可能な端末は対象外とする作業を行ったそうです。

このように幾つかの問題はあったものの、当日はさほど大きな問題はなく、多くのユーザーに楽しまれる結果になったそうです。金丸氏は「多くの問題は時間があれば解決できる問題でした。大規模なARをやるためには長期的なプランニングが必要ではないか」と振り返っていました。

ちなみに、ARアプリケーションのダウンロード数はPSVitaが約1万、Androidが約3000という結果だったそうです。この試みは合計127のメディアに取り上げられ、成功と言っても差し支えないでしょう。参加者からも良い反応があり、ARの面白さを伝えることができたようです。

最後に金丸氏は今回得られた教訓を幾つか話してくれました。まずはイベント会場の協力を得ることです。今回は森ビルが図面を提供してくれた事が、プロジェクトを大きく前に進めたように思います。Androidなど端末のカバーは課題になりそうです。ユーザーを増やすためにはカバーを広げる必要がありますが、開発コストとのトレードオフになります。また、安全性の問題も感じたようです。六本木では道路に溢れるくらいのユーザーが集まり、警備にも苦労したそうです。屋外でのARは、画面に集中してしまうこともあり、良いやり方を構築していく必要がありそうです。

■ソニーのAR最新動向
ソニーは引き続きARの技術開発を進めていて、堀川氏からは最新動向が紹介されました。

「SmartAR」は「ターゲットトラッキング」(平面物体認識)と「シーンマッピング」(三次元空間認識)を統合したものですが、もっと多くのターゲットを認識できるような改良が進められているようです。大規模物体認識は多くのメモリを必要としますが、1万件程度の物体を予め辞書に入れておき、該当する物体を瞬時に認識できるような形に進化しつつあるようです。また、大規模物体認識サーバーではサーバーとの通信を経ることで数百万単位の物体を辞書に入れて認識できるように研究が進められているそうです。

具体的な採用事例としては9月10日から配信される『Miku Miku Hockey』や欧米のみで展開されている欧州スタジオ開発の『Invizimals』があり、今後も目が離せません。

【CEDEC 2013】初音ミクが六本木でライブ！「HATSUNE MIKU AR STAGE」の開発事例