単眼カメラで3Dスキャン! Xperia XZ1シリーズの新機能「3D Creator」がスゴい

文●平澤寿康 編集●ゆうこば

2017年09月07日 17時00分

  • このエントリーをはてなブックマークに追加

 Xperia XZ1およびXperia XZ1 Compactに搭載されている新機能「3D Creator」。背面カメラ「Motion Eyeカメラ」のみで物体の3Dスキャンが行なえるというほかにはない技術で、Xperia XZ1、XZ1 Compactの目玉機能のひとつとなっている。

 この3D Creatorはどのように利用し、どういった活用ができるのか、実際に体験してきた。加えて、Motion Eyeカメラの機能で、従来からの進化ポイントもチェックしてきたので、合わせて紹介する。

カメラの情報と加速度センサーの情報を利用
単眼カメラのみで3Dスキャンを行なう

 通常、3Dスキャンを行なう場合には、映像をとらえるカメラだけでなく、赤外線を利用した測距センサーなどが搭載される「3Dカメラ」と呼ばれる機器を利用するのが一般的。

 たとえば、インテルが開発した「Intel RealSense Technology」などがおなじみだろう。それに対し、XZ1およびXZ1 Compactに搭載されている3D Creatorでは、裏面カメラ「Motion Eyeカメラ」のみを使って3Dスキャンを行なうようになっている。これが、大きな特徴だ。

3D Creatorは、測距センサー不要で、単眼のカメラと加速度センサーのみで3Dスキャンを行なう

 正確に言うと、カメラだけで実現しているわけではなく、加速度センサーを同時に利用して実現している。3Dスキャン時には、カメラで物体をとらえてその周囲を移動するという、一般的な3Dスキャンと同じ操作となるが、その時に加速度センサーの情報を読み取って移動方向や距離を判断するとともに、とらえている映像から表面の凹凸などの特徴点を割り出し、3Dモデルが作成される。

 3Dスキャンの手順やできあがる3Dモデルは、3Dカメラを利用する場合とほぼ同じだが、スマートフォンに標準搭載されている単眼のカメラと加速度センサーを利用し、ソフトウェア技術のみで実現できているという点が、3D Creatorの大きな特徴だ。

 特別なハードウェアが不要なので、ハードウェアのコストが低減できるのはもちろん、汎用性が高いという点も、ほかにはない利点となる。

カメラでとらえている映像と加速度センサーの情報から、ソフトウェア技術で3Dモデルを作成する

頭前方の顔のスキャンは30秒ほどで完了

 では、実際の3Dスキャンの手順を見ていこう。まず、キャリブレーションとして特徴点の割り出す。アプリを起動してカメラで顔をとらえ、指示通りに顔の周囲を移動する。

アプリを起動し、カメラで顔をとらえつつ、指示通りに顔の周囲を移動する

 すると、目や鼻、顔の輪郭、髪などの特徴点がとらえられる。ひととおり顔や頭の周囲を移動し終わると、特徴点が割り出される。続いて、ポリゴンメッシュの作成となる。

目や鼻、紙、口、顔の輪郭などから特徴点を割り出す
特徴点の割り出しが終了したら、その特徴点を埋めるようにポリゴンメッシュを作成

 こちらでもまたカメラでとらえながら顔や頭の周囲を移動すると、特徴点をつなぐようにポリゴンメッシュが自動的に作成される。そして、ポリゴンメッシュの作成が終わると、最終的にカメラでとらえた画像がテクスチャマッピングされ、3Dスキャンが完了となる。

徐々にポリゴンメッシュが細かくなり、3Dモデルが完成

 この一連の作業は、約30秒ほどかかる。もっと速く行なうと、ポリゴンメッシュが荒くなり、もっとゆっくり行うとポリゴンメッシュが細かくなるそうだが、時間と作成される3Dモデルのクオリティーとのバランスをとって約30秒ほどで終了するように設定してあるとのこと。

 今回は、頭の前方のみをスキャンしたが、できあがった3Dモデルはなかなかのクオリティーで、一般消費者向けに販売されている3Dカメラを利用した3Dスキャンとほとんど差が無いように思えた。

最後に撮影映像をテクスチャマッピングし、作業は終了となる。時間は30秒ほどかかる
できあがった3Dモデルのクオリティーは、なかなかのもので、単眼カメラのみで作成されたとは思えないほどだ

ARアバターの作成や3Dプリンターでのプリントなどが可能

 3D Creatorで作成した3Dモデルをどのように活用するのか。単に3Dモデルがつくれるというだけでは、あまりおもしろみがないが、そこはいろいろと楽しめるような機能が盛り込まれている。

作成した3Dモデルを活用して楽しめる機能が各種用意されている

 まずは、3Dアバターを作成する機能。スキャンした顔のデータをいろいろなアバターの顔の部分に貼り付けることで、自分だけのオリジナルアバターを作成。AR機能も活用しつつ、現実世界の中にアバターを配置して踊らせたり、写真や動画を撮影するなどして楽しめる。

 また、そのアバターを使ったオリジナルステッカーも作成できるようになっている。もちろん、それら機能で作成した写真や動画、ステッカーはSNSなどでシェアできるので、友人などと楽しむことも可能だ。

アバターに3Dモデルを貼り付けて、オリジナルのアバターを作成可能
作成したオリジナルアバターをAR機能で実世界に合成して表示し、写真や動画を撮影できる。撮影した写真や動画はSNSで共有できる

 そのほか、作成した3Dモデルを利用して3Dプリンターで3Dプリントすることも可能となっている。

 将来はさまざまなプラットフォームとの連携も考えているという。たとえば、PlayStation 4などのゲームプラットフォームや各種VRプラットフォーム、ARプラットフォームなどとの連携を想定しているとのこと。

作成した3Dモデルを利用し、3Dプリンターでプリントも可能
ゲームやVR、ARとの連携も考慮されている

 実際に、PlayStation 4のPlayStation VRに用意されている「VRSocial」に3D Creatorで作成した3Dモデルを転送して活用したり、マイクロソフトの「Hololens」との連携といったデモも紹介された。

PlayStation VRの「VRSocial」と連携し、作成した3DモデルをVRSocial内で活用する計画もあるという

 今回、XZ1およびXZ1 Compactに3D Creatorを搭載したのは、3D Creatorの技術が十分に活用できるレベルまで成熟したことだけでなく、VRやARの世界が広がりを見せていて、活用できる場面が増えてきたことも、大きな要因になっているという。

 そして、VRやARの業界からもかなりの問い合わせがあるそうだ。「楽しく使ってもらえなければ意味がない」とは担当者の言葉だが、3D Creatorは今後の展開も含めて十分に期待できる機能と言えそうだ。

さまざまなプラットフォームとの連携により、活用の幅が広がる可能性が高いことも、今回の機能搭載の要因となっている

高速連写中のピント追従や
プリディクティブキャプチャーは笑顔もとらえるように進化

 カメラ機能では、高速連写や「プリディクティブキャプチャー(先読み撮影)」機能の進化が実現されている。

 高速連写は、一般的には最初に測距したピントそのままで連写が続くものがほとんどとなっているのに対して、XZ1とXZ1 Compactでは、連写中も動いている物体を認識して、その物体に撮影1枚ごとにピントを合わせるようになっている。

 高速で移動してくる物体を連写しても、最後まで移動している物体にピントが合うため、走る子どもや電車などの撮影時にかなり有効な機能と言える。

高速連写機能では、連写中も毎フレームピントを合わせるように進化

 また、Xperia XZs/XZ Premiumで搭載されたプレディクテブキャプチャーは、シャッターを切る5秒前から裏で撮影を開始しておき、動く物体がフレーム内にしっかり収まっている瞬間をお勧めしてくれるという機能だった。

どのタイミングでも高速で向かってくる鳥にしっかりピントが合っている

 それに対し、XZ1とXZ1 Compactでは、人の笑顔を認識して、笑顔の瞬間をオススメしてくれる機能が追加された。

 たとえば、子どもの写真を撮影するときなど、笑顔の瞬間を撮りたくてもなかなかタイミングが合わないことも少なくないが、XZ1/XZ1 Compactなら、プレディクテブキャプチャー機能によって笑顔のタイミングの写真をバッチリ残せる。これも、貴重な瞬間を失敗なく写真に収められるという意味で、かなり有効な機能に進化したと言えるだろう。

プリディクティブキャプチャー機能では、動き検出だけでなく、笑顔検出機能も盛り込まれた
たとえば、子どもの写真を撮影する場合に、笑顔の瞬間をお勧めしてくれる
これはシャッターを切った瞬間の写真
シャッター前5秒までさかのぼり、笑顔のタイミングの写真をお勧めしてくれるので、決定的瞬間を撮り逃さない

mobileASCII.jp TOPページへ

mobile ASCII

Access Rankingアクセスランキング

アプリ週間ランキング

アプリランキングをもっと見る

for Biginnersスマホ入門

スマホからスマホへ機種変更する前に読む! 各種アプリ&サービスのデータ移行・引き継ぎ方法

「Xperia A」「GALAXY S4」へ機種変更したらチェック! ケータイとの違い&スマホの使い方をマスターしよう

「Xperia A」ほか夏スマホ購入前にチェック! スマホへの機種変更&乗り換えQ&A

スマホのトラブル解決ガイド2013

スマホ定番アプリ活用術!

連載:スルッとわかる! 高速通信規格「LTE」

おサイフケータイ乗換案内!

Linkリンク