hirax.net::Keywords::「THETA」のブログ

■続 ５０００円で”光もモノも3次元的に記録するライト・フィールド・カメラ”を作ってみよう！？　

　一週間後の８月６日（土）と７日（日）には、東京ビッグサイトで開催されるメイカーフェアー東京２０１６で、５０００円ポッキリで作る「”光もモノも3次元的に記録するライトフィールド・カメラ”」や、Ricoh Theta S で作る全天周多視点（簡素ライトフィールド）カメラを展示する予定です。ちなみに、展示ブースは、A-06-06という覚えやすいけれど、右図のように少しわかりにくい場所で、「理科教育研究フォーラム」という名前で出しています。

　５０００円で自作するライトフィールド・カメラは、下図の説明用パネルのように、凹レンズアレイシートに写し出された景色を１台のUSBカメラで撮影することで、平面上の各領域から周囲各方向の「光」を撮影・処理するというものです。凹レンズアレイシートには１２×７＝８４視点の景色が写し出されているので、８４の異なる視点位置から眺めた光線場を撮影し、そしてさまざまな処理を行う…というカメラです。（全天周ライトフィールドカメラについての説明は、明日にでも書いてみることにします）

　たとえば、下の動画は５０００円ライトフィールドカメラで写している風景動画に関して、好きな箇所（距離）に焦点を合わせ、そしてそれ以外の領域をぼかすリフォーカス処理をしている動画です。安い１台のUSBカメラで全視点の画像を撮影しているので、１視点あたりの画像解像度はせいぜい２００×２００ピクセルと低解像度になってはしまいますが、自分が組み立てたカメラで簡単な処理コードを書くだけで、リフォーカス処理ができるのは結構楽しいものです。

　また、下の動画は光合成による開口径（絞り）可変処理を試している時に写し出されているものです。こうした後処理を必要とする状況がどれだけあるかは…疑問なところもありますが、やはり安く簡単に作ることができるお手製のシステムで、こうした実験ができるのは面白いと思います。

　というわけで、２０１６年の８月６日、７日は東京ビッグサイトでお待ちしております。いらっしゃる方がいましたら、「○×分後くらいに遊びに行くかも！」と伝えて頂ければ、（他を眺め歩きがちな）説明員も戻るようにしようと思います。

■Ricoh Theta S 撮影動画で３次元の世界を撮影してみよう!?　

　昨年の秋、バンコクの路地を自転車で走りながら、右手でRicoh Theta Sを空に向かって差し上げて動画を撮影しました。その撮影動画を使って、今日は３次元の世界を再構成をしてみました。
　その１例が下に貼り付けた動画です。手に持たれたTheta Sが移動していった「視点・撮影点」を青くマーキングしてあるので、狭い路地を進む自分の軌跡を眺めることもできます。

　今日やってみたことはとても簡単です。多視点からの撮影画像を使って三角測量を行い立体形状を求める手法を全天周カメラであるRicoh の Theta S画像に適用してみただけです。
　解像度的には静止画像からの復元の方が良いですが、ただ移動しながら動画撮影するだけで３次元の世界を撮影できるというのはお手軽感が高いものです。

　ちなみに、Ricoh Theta Sを室内で移動させつつ撮影し、その撮影画像から３次元空間を復元させてみると下動画のようになります。カメラの歪みをきちんと校正していないこともあり、その歪みを反映して復元空間自体も歪んでしまっていますが、今度はそんな歪みも除去して、綺麗な３次元空間を撮影してみたいと思います。

■その瞬間に眺めた世界をいつでもリアルに記録していく　

　自分を囲んでいる周りの世界を、あるいは掌の上に載せたものを、他の誰かに見せるために、いつか自分で眺め返す時のために、その瞬間にできる最大限のやり方で記録しています。…といっても、重い特殊な機材を持ち歩くのは辛いので、その時手にしたお手軽機材で、けれど時間が許す限りのやり方で、目にしたものをリアルに撮影したりしています。

　たとえば、2014年くらいのタイ・バンコクでは、自転車でうろうろする時、いつでも全天周の動画を撮影していたりしました。そして、１年後の2015年には同じく自転車で通り抜けたバンコク路地裏は、３次元で（暗い部分から輝いている部分まですべて記録する）HDRな世界になっていました。あるいは、チェンマイで１１月の満月に眺める「空へ灯籠を流すお祭り」をヘッドマウントディスプレイを掛ければ、もう一度眺めたりすることができます。

　今年は、色んな物質で作り上げられた周囲の世界を、その素材感を伝える特性や立体的な形も含めて撮影することがようになりました。たとえば、安っぽいプラスチックの外装や、油で汚れて鈍く黒光りする金属塊や、年期を経た木板のさまを、リアルに写し出してコンピュータ画面の中で眺めることもできるようになりました。本当の世界ほどにリアルではないけれど、現実が持つ複雑なさまを、少しづつ記録して残すことができるようになっています。

　2016年の今年は、やはりバンコクを自転車でウロウロしつつ、記録する情報の次元や内容を、またバージョンアップできたら面白いな！と思っています。遠くに見える大通りを走るバスや、近くの路地裏を区切る土壁や、店の机に並ぶアジアな小物、そんなものを昨年より少しでもリアルに記録できたら面白いな、と思っています。

■続「その瞬間に眺めた世界をいつでもリアルに記録していく」　

　一年前の2015年の秋頃に、自転車を漕ぎつつRicoh Theta Sを手に持って、バンコクの裏小路を撮影してみました。その（色んな場所から眺めた）撮影映像を元にして、路地裏の構造を表す３次元情報や、眺める場所・方向に応じて見える風景を表現する関数を推定・生成してみました。下に貼り付けた動画は、その３次元情報のみを使ってレンダリングしてみたものです。

　日記に「その瞬間に眺めた世界をいつでもリアルに記録していく」として書いたように、ポケットに入るくらいの安い（スマホや安カメラといった）機材で、３次元の空間情報あるいは眺める時間空間方向に応じた見え方をキャプチャするようなことも簡単にできたりします。今年2016年の秋頃には、一体どんな世界を切り取ることができるのだろう？と考えたりします。

　今この瞬間の世界で、未来に残したいと誰かが思う場所があれば、その場所を知りたいと思います。その場所に行って、その３次元情報や見え方を表す関数表現や、記録できる限りの多くの情報を眺めに行ってみたい…と考えたりします。

■Ricoh Theta S で2017年旧暦1月満月の夜を撮ってみる　

　思い返せば2015年は忙しかった。長身の国オランダに入り浸ったり、大学病院に入院したり、タイのスコータイやチェンマイあるいはバンコクで Ricoh Theta S と自作治具を抱えて全天周HDR距離マップ付き動画に挑戦したり、人生で２回目のスカートを送風機でめくる実験をしたり…と七転八倒の毎日だった。

　そんな人生七転八倒のお友達 Ricoh Theta S ともっと戯れたい！というわけで、OpenSphericalCameraのTheta S 制御用　Python コードを3.x用に書き換えて、長時間露光の微速度撮影で満月の夜を撮影をしてみた。

　旧暦１月の満月の夜を、露光60秒で20分ほどの時間、微速度動画を撮ってみる。太陽のように明るい満月と、都会に近いけれどそれでも見えるいくつもの星 は、北極星を中心に廻っている。もしも、渋谷のスクランブル交差点や、上野公園の桜の下、あるいは、山手線のホームで眺めてみたら、一体どんな景色が見えてくるだろう。