hirax.net::Keywords::「nividia」のブログ

■たった２枚のスマホ写真から、自動でリアルなCG素材を作ってみよう!?　

　スマホを使って、（スマホ付属のライト点灯有無による）２枚の撮影画像から対象物の素材情報（反射特性や凹凸分布）をキャプチャする研究があります。原理は単純で、一般的に照明光が方向性を持つ普通の環境下で撮影した写真からは、同じ方向を向く領域が抽出できるし、照明ライトを点けた写真からは、（撮影画像内の各領域に対する）照明方向と撮影方向がわかるので、それらを組み合わせると、色んな情報がわかるよね！という内容です。…その研究内容が、最近NVIDIAサイトで最近WEBサービス（Photo To Material: 2shot）化されました。

　これは面白そう！というわけで、使ってみた結果が下のようになります。左２枚の写真が、黒皮的な素材をスマホで撮影した画像で、右の画像がWEBサービス（Photo To Material: 2shot）で生成された素材データを使ってCGレンダリングした画像です。…わかりにくいかもしれませんが、たった２枚のスマホ撮影画像から、対象物の色や３次元形状などが得られていることがわかります。

　ためしに、畳をスマホで撮影して・その撮影画像から生成した素材データを使ってCGレンダリングを行ってみると、下の画像のようになります。…わかりにくいかもしれませんが、３次元情報や色やさまざまな情報が得られていることがわかります。

　処理可能な撮影対象は、（規則的である必要は無いのですが）似たような模様が繰り返されているパターンに限られます。けれど、目の前にある素材を「記録」して「CGなどで使ってみたくなる」ことも多い…かもしれません。そんな時、このNVIDIAのサービスはとても役立つに違いない！というわけで、もう少し遊んでみようと思います。