hirax.net::Keywords::「視線追跡」のブログ

■「視線追跡機能付きメガネ」を作り始めました。　

　「（逐次）眺めてる世界」と「（その世界を眺める）視線」を検出し、その視線を手助けする「電脳メガネ」を作りたくなりました。それでは、一体どんな「電脳メガネ」を作りたいのか、ということはゆっくり書いていくことにして、まずは今日作った「メガネ（の一部）」を貼り付けてみることにしました。

　今日作ったのは、「マイ・メガネ」の「視線入力部」です。自分が眺める風景を認識しつつ、その風景の中のどんな場所を眺めるかを検出することもできる、「視線入力装置付きメガネ（眺めている世界をリアルタイム・キャプチャ＆録画する装置付き）」です。「自分が眺める風景を認識しつつ」とか「（逐次）眺めてる世界」といったことをわざわざ書いているのは、実に単純な理由です。つまり、（視線計測時には）頭を動かしちゃだめですよ・眺める景色に対して顔を動かしてはいけませんよ、という計測装置が多いからです。…そんな制約条件は不自然だ・あり得ない…と思うわけです。

　というわけで、頭部の向き・眺める景色を逐次記録しつつ、それと同時に、その景色の中のどの部分を眺めているかを計測する「視線追跡機能付きメガネ」を作ってみました。右の写真は、快く協力して頂いたモデルのリラクマさんと、開発＆製造途中の「電脳DIYメガネ」です。

　激しく頭を振りつつ、ロケンロールなヘビーメタルで頭を前後左右に揺らした時に、「瞳追跡用カメラで撮影した「瞳（視線）」映像」が下に貼り付けた動画です。スポーツ時にかけるようなサングラスに「瞳追跡カメラ」（と、外界検知用カメラ）が取り付けることえ、頭部の方向が素早く変化するような場合でも、（頭部の向きによらず）視線の方向を上手く検出することができています。

　…あとはメガネフレームの中央に取り付けられたビデオ・カメラから外界に対する頭部の向き・視界映像、そして注視点（視線）に対する相対（方向）情報を利用しつつ、他センサなどから得た情報を活用し、さらに外部アクチュエータへの制御を行えば、単なる「視線追跡機能付きメガネ」に留まらない「もっと便利な（生活必需品）メガネ」を作り出すこともできそうです。

■「AKB 48 を観る（自分の）視線」を追跡してみよう!?　

　「（予算6千円ナリで作り始めた）視線（＆視界）追跡メガネ」で AKB48のメンバー写真を眺めてみました。つまりは、AKB 48 を観る（自分の）視線を追跡してみた、というわけです。一体、メンバの誰が一番気になっているんだろう？という疑問を、視線追跡をすることで単純明快に調べてみようと思ったのです。

　瞳を撮影しているビデオカメラから視線方向を解析するために使ったのはITU Gaze Trackerです。Windowsマシンであれば、（瞳を撮影する）USBカメラを繋ぐだけで使うことができる、という優れものです。

　視線追跡をした結果は、下の画像のようになりました。集合写真のレイアウトに沿って視線が動いていて、ちょうど視線はメンバをもれなく順々に／繰り返し眺めたという具合で、誰か1人に視線が集中しているという風にはなりませんでした。

　もしかしたら、「気になっているAKBメンバを隠そう」という心がどこかにあって、無意識に視線の動きを自制していたりしたかもしれません。…というわけで、今度は「動画」に対する視線追跡でもしてみることにしましょうか。

■自分で作る「セカイメガネ」　

　①視線方向を計測し　②視界映像も取り込んで　③外部センサデータも使いつつ　④外部モロモロを制御しよう！という（自分用）メガネを作り始めています。そんなものを作ろうと思ったきっかけは、今は慶応SFCにいる増井さんの言葉です。

　昔は、近眼のニンゲンは生きていくことができなかった。「近眼」というものは、そういうものだった。 　しかし、メガネという道具が作り出された今は、メガネが日常に溢れる普通のものになった今は、近眼というものを気にする人はいなくなった。近眼なんて「病気」は消えた。

　右上に貼り付けた「自分用メガネ」…メガネ中央部にUSB経由でPCに動画をリアルタイム出力できるカメラが備え付けられていて、赤外光照射＆視線方向を（赤外線で）計測するためのカメラ（これもUSB経由でPCに動画をリアルタイム出力可能なもの）も備え付けたので視線と視界を同時に計測できるカメラメガネです。

　たとえば、右に貼り付けたのは『AKB 48 を観る（自分の）視線』です。そして、下に貼り付けたのは、メガネの中央部に埋め込まれた小型カメラ＋ミニ魚眼レンズを使って取り込んでいる、リアルタイム撮影している「視界映像」です。どんなものを眺めていて、どんなものに顔を向け、そして（そんな風に眺めた景色中の）どの部分に目を向けたか（惹かれたか）を映し出し・計測してしまう･･･のです。

　というわけで、「視界」と「視線」を同時に把握する、すなわち、どんなセカイを眺め・どんな一角に目を（そして心を）奪われるかを調べ上げる視界・視線の同時撮影カメラを作っています。自分の視界（世界）や視線を白昼のもとにさらしてしまうこの「セカイメガネ」…結構恐ろしい最終兵器かもしれません。