位置情報付き路上画像の視線方向推定

丸山拓馬

2010年 2月 8日

1 はじめに

1.1 背景

画像、動画に位置情報をつけて利用するシステムが増加している。撮影したGPS位置を記録してGoogleMapを組み込んだ旅行アルバムをはじめ、最近ではiPhone¹のSekaiCamera²やGoogleAndroidのGooleGoggles³など撮影位置に加えて撮影方向を利用したアプリケーションも出現した。しかし、GPSは十分に普及してきているがGPSだけでは撮影位置は分かっても撮影方向を知ることができない。また撮影方向を知ることは地磁気センサーによって可能であるが、GPS付きカメラに地磁気センサーを搭載したデバイスはほとんど存在しない。

そこで本研究では位置情報付き画像に方向を付加するための研究を行った。この研究により、方向情報が必要で対応できなかった地磁気センサなしの GPS付き携帯などでもGoogleGogglesやSekaiCameraのようなシステムを実装できる。

**Figure 1:** 実装するシステム

1.2 目的

本研究ではGPS位置情報付き画像の入力を受け、その位置での方向推定を行う。またリアルタイムに方向推定を行えるwebページを実装する(図1)。入力には位置情報付き画像を指定し出力は推定方向の表示とする。また表示にはGoogleStreetView[2]を用いた。

1.3 関連研究

パノラマ画像に関する位置や方向の推定には既存研究がいくつか存在する。近年の方向推定の手法ではSIFT特徴を利用した上野らの研究[5]がある。動画をパノラマ画像群とリアルタイムに対応させて表示位置を特定する研究では、興梠らの研究[4]がある。

2 提案システム

システムの処理手順は以下のようになる。

[

l]システムの処理の手順

位置情報付き画像のアップロード
パノラマ画像の取得
視線方向の計算
ブラウザで結果を表示

2.1 画像のアップロード

アップロード画像にはJPG形式を指定しており、このEXIFヘッダ上にGPSの位置が記述されているとする。

2.2 パノラマ画像の取得

抽出したGSP位置情報をGoogleMapsAPIのリクエストを通して、パノラマ画像のハッシュキー(panoid)を取得する。取得したハッシュキーを元にしてパノラマ画像の部分画像を取得する。部分画像を連結してアップロード画像との比較に利用する(図2)。

**Figure 2:** パノラマ画像部分画像を結合

2.3 視線方向の計算

アップロードされた画像と取得したパノラマ画像の位置合わせを行い、方向を推定する。以下のような手順で方向推定をする。

[

l]視線方向の計算

各画像より局所画像特徴(SIFT特徴[3])を抽出する
画像毎にkd-treeを構築する
BestBinFirst[1]手法(BBF)で近隣点をマッチングさせる
パノラマ画像中でマッチング点が多い領域を抽出する
抽出した領域のマッチング点群の重心を視線方向とする

2.3.1 画像特徴

スケール、回転、照明変化に頑健なSIFT特徴のマッチングを用いて画像の部分マッチングを行った。 SIFT特徴では画像の局所パターンを128次元の特徴ベクトルとして表現する。

2.3.2 マッチング

マッチングにはまず多次元空間での効率的な検索ができるkd-treeを構築して、 kd-treeを基軸としてSIFT特徴ベクトル間の距離が短いものを選出する。また、高速化のためkd-treeでの探索近似アルゴリズムとしてJeffらのBBFアルゴリズム[1]を採用した。 BBFを利用することでLoweらの実験では3#3程度の確率でSIFT特徴点の最近傍点を獲得できたとしている[3] 。

2.3.3 マッチング点の除去

マッチング点はノイズを含んでいるので、以下の三つの方法でのノイズ除去方法を提案して、後述の実験での精度評価を行った。

[

l]三つの方法

単純マッチング:クエリ画像からパノラマ画像への最近傍点をマッチング点とする
双方向マッチング:１の方法をパノラマからクエリ画像にも行い相互に最近傍点である場合のマッチング
方向情報マッチング:2の方法に特徴点ペアでの回転角度を考慮してこの差が90度以上あるものを除外したマッチング

2.3.4 視線方向の算出

図3に視線方向算出の概要図を示す。視線方向は4#4を5#5毎に区切って、これを6#6度毎に移動させた。すべての5#5領域のうちでマッチング点が検出されている領域を最良な領域として決定した。また、最良領域が複数存在する場合は、そのうちで最もマッチングした特徴ベクトル間の距離の和が最小となる領域に決定した。これにより求まった最良の領域のうちで、マッチング点の重心を推定方向として決定する。

**Figure 3:** 視線方向の算出

2.4 ブラウザで結果の表示

GoogleMap とGoogleStreetViewで図1のように結果を表示する。

3 実験

3.1 実験について

調布市を中心とした路上画像を451枚撮影して方向推定の実験に用いた。実験にはGPS位置情報と撮影時の方向を付加できるカメラ、GARMIN社のOREGON550を利用した。この撮影時の方向情報を視線方向の正解データとして利用する。

3.2 結果

**Figure 4:** 正解方向と推定方向の絶対誤差

**Figure 5:** 推定値の誤差と正解率

正解方向と推定方向の絶対誤差を図4に示す。許容角度と正解率の関係を図5に示す。

4 考察

マッチング点を選び出すことでノイズを減らすつもりであったが、方向情報まで用いてしまうと極度にマッチング点の数が減ってしまった(10#10個未満が11#11以上)。これにより除去し切れないノイズが方向推定結果に悪影響を及ぼしてしまっため、方向情報マッチングでの方向推定精度が劣ってしまったのだと考えられる。

またGPSの位置精度には誤差があり、そのため撮影した領域が大きく映る地点でのパノラマ画像をうまく得ることができない場合が多々あった。この様な状況に置いてはマッチング点を取得することが困難で、またパノラマの歪みの影響が大きな部分となる場合があった。

5 まとめと今後の課題

位置情報付き画像に、方向情報を付加するシステムを実装した。今後6#6以内の正解率12#12を向上させる事が課題である。パノラマ画像を補正して比較することや、隣接パノラマを取得して精度の向上を図る予定である。また撮影位置の補正も行えるよう拡張する事も考えている。

Bibliography

1: J. Beis and D. Lowe.
Shape indexing using approximate nearest-neighbour search in high-demensional spaces.
In IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 1000-1006. INSTITUTE OF ELECTRICAL ENGINEERS INC (IEEE), 1997.
2: Google.
Googlestreetview.
http://www.google.co.jp/help/maps/streetview/.
3: D.G. Lowe.
Distinctive Image Features from Scale-Invariant Keypoints.
International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.
4: 興梠正克, 藤田武志, 坂上勝彦, 村岡洋一.
パノラマ画像群を位置合わせに用いたライブ画像上への注釈提示とその実時間システム.
電子情報通信学会論文誌, Vol. J84-D-2, No. 10, pp. 2293-2301, 2001.
5: 上野智史, 橋本真幸, 米山暁夫, 川田亮一.
SIFTを用いた都市環境の建物画像検索によるユーザ位置・方向推定手法に関するー検討.
Technical report, 電子情報通信学会, 2009.

Footnotes

... 最近ではiPhone¹: iPhone http://mb.softbank.jp/mb/iphone/
...のSekaiCamera²: SekaiCamera http://sekaicamera.com/
...やGoogleAndroidのGooleGoggles³: GoogleGoggles http://www.google.com/mobile/goggles/

YANAI Lab.