平成24年度 卒業研究論文



画像認識技術を用いた
アルバム自動生成システム














電気通信大学 電気通信学部

情報工学科 コンピュータ学講座

平成25年1月31日

原田 浩睦

Abstract:

本論文では位置情報付き画像に対するアルバム作成システムを提案する.

今日,デジタルカメラの普及と記録メディアの容量拡大により個人でも数百枚の 画像を撮影することが可能である. 個人の撮影した大量の画像の中には失敗画像や集合写真のように失敗を考慮し 複数枚撮影した画像などがある. 撮影した画像を見るときには失敗画像や集合写真のような重複した画像は見る必 要はない. しかし,これらの大量の画像の中から見るべき画像を選択すること,つまりアル バムの要約は手間である.

またカメラの画角に収まりきらないものを複数枚に渡って撮影した画像は特徴点マッ チにより自動でパノラマ画像を生成することができる. しかし,どの画像からパノラマ画像を生成するかは人の手によっている.

本研究では,画像認識の技術を利用し撮影画像をランキングすることで(i)大量の画 像の中から重要な画像を選択できる機能,(ii)パノラマ画像が生成できそうな画像 に対しては自動でパノラマ画像を生成する機能,を持った自動アルバムシステ ムを提案する.


Contents

1 はじめに

1 背景と目的

デジタルカメラの普及および記憶メディアの容量拡大により個人でも一度の撮影 で数百枚の画像を撮影することが可能となった.一部のデジタルカメラやスマー トフォンといった撮影機器にはGPS機能を搭載し,画像に撮影位置の情報を付与 できるものもある.スマートフォンの多くはGPS機能を搭載しており,今後 はデジタルカメラにもGPS機能を搭載したものが多くなることが考えられる.

公開するという観点からは, Panoramio1や Flickr2などのアルバム投稿閲覧サービスがある.これらのシステ ムでは投稿者の投稿画像にいくつかのタグ情報,位置情報を付与して公開する. これらのサービスでは投稿者が撮影した画像の中から投稿する画像を選択して投 稿するシステムである.しかし,撮影した画像の中から投稿する画像を選択する 作業は撮影画像が増えるに従って困難なものになる.

また,撮影画像の中にはパノラマ画像を生成できるような撮影画像を含むことも ある.複数の画像からパノラマ画像を生成することは容易である.しかし,パノ ラマ画像を生成できるような画像を選択することは公開する画像を選択するこ とと同様,撮影枚数の増加に伴い困難となる.

本研究では位置情報付き画像に対して画像認識技術を用いた自動アルバムシステ ムの実現を目指す.このシステムはユーザが撮影画像を登録すると重 要度の上位の画像を表示するシステムである.また撮影画像中にパノラマ画像を 生成できるような画像が含まれている場合,自動でパノラマ画像を生成する.

従来のアルバム投稿システムに対して,本手法は画像認識技術を用いたことによ り画像を選択する手間を省くことができる.その他にも顔画像認識,物体検出技 術の組み合わせを一部ユーザに設定できるようにしたことで幅広いユーザへの対 応を図った.

2 本論文の構成

本論文の構成は以下のようになっている.

1章 はじめに

この研究の背景,目的を記載する.

2章 関連研究

関連研究を紹介する.

3章 システム概要

本研究で作成したシステムの概要を記載する.

4章 手法詳細

本研究の提案手法の詳細を記載する.

5章 実験

本研究で提案するシステムの実験および評価,考察を行う.

6章 おわりに

本論文のまとめと今後の課題を記載する.

2 関連研究

撮影画像の管理を目的とした研究としてはHugoら[1]の研 究がある.この研究ではPhotoGeoというインフラを提案している. これはユーザによる撮影画像の検索を補助するためのシステムである.

PhotoGeoでは撮影された画像を撮影位置,撮影時刻,ユーザのカレンダーから得 られたイベント情報からイベントに分類する.イベントとは場所と時刻の情報と カレンダーから得られたイベント名の情報である. また撮影時には撮影画像ごとに写っている人物のアノテーションも行うことで, 撮影後に大量の画像に対して人物注釈を行う負担をなくしている.撮影時に 人物情報を付与することはユーザの手間になる.しかしこの研究では撮影画像を イベントに分類し,そのイベントに参加しているであろう人物を注釈の際にリス トの上位に表示するという工夫で補っている.

この手法では撮影画像はイベント名と写っている人物の注釈とともにデータベー スで管理され,検索時にはイベント名や人物名での検索を行えるものである.

PhotoGeoシステムでの検索画面と検索結果の例を図[*], 図[*]に示す.

Figure: PhotoGeoシステムでの検索画面([1]から引用)
eps/PhotoGeo1.eps
Figure: PhotoGeoシステムでの検索結果の表示画面([1]から引用)
eps/PhotoGeo2.eps

本研究と同様に撮影後の画像から目的の画像を検索する手助けを行うシステムで あるが,本研究では撮影画像の人物注釈は行わない.今までに撮影された大量の 撮影画像から画像のメタデータと画像認識技術だけを用いて撮影画像を選択する 点が本論文の手法とは異なっている.

また,類似の研究に奥山の研究[2]の旅行記録の整理機能がある. これは観光地でのユーザの軌跡データからユーザが訪れたであろう観光地の代表 画像とその近隣の観光地の代表画像を表示する機能を実現した.

この研究ではあらかじめ大量の位置情報付き画像を収集し,撮影地点をクラスタ リングすることで観光地クラスタを選出する.選出した観光地クラスタは分類さ れた画像の中からその観光地クラスタの代表画像を選出しておく.そこにユーザの軌 跡データを与えるとユーザの軌跡を観光地クラスタ間の移動と捉え,訪れたであろ う観光地クラスタの代表画像を表示する.図[*]に表されるユー ザの軌跡に対して,ユーザの訪れた観光地クラスタとその近隣の観光地クラスタ の代表画像を表示した例を図[*]に示す.

Figure: ユーザの軌跡([2]から引用)
eps/okuyama1.eps
Figure: ユーザの軌跡からユーザの訪れた観光地クラスタとその近隣の観光地 クラスタの代表画像を表示した画面([2]から引用)
eps/okuyama2.eps

観光地クラスタを選出するために事前に大量の位置情報付き画像の収集を必要と する点,代表画像はユーザの撮影した画像でない点が本論文の手法とは異なって いる.

商用の撮影画像登録システムとしてFlikrやPanoramio,画像管理ソフトとしては Picasa3があげられる.

Flikrは登録画像の公開,非公開の設定や,画像の向きを変えるなどの画像編集 の機能を持つシステムである.公開されている登録画像には投稿ユーザ以外のユー ザからもタグを付与することができる.タグとは画像の情報を表すテキストであ り,タグ情報を利用して画像を検索することができる.

一方,Panoramioは画像の位置情報から地図上に画像を表示するシステムである. 図[*]に示すように右側に地図と地図上に画像が配置されてお り,撮影位置から表示する画像を絞り込むことができる.

Figure: Panoramioでの表示
eps/panoramio.eps

画像管理ソフトPicasaはローカルコンピュータ内の画像データを管理するソフトである. Picasaの特徴は図[*]に示すように顔認識によるインデキシング機 能を持つ点である.画像から顔領域を検出し,顔ごとに名前をラベル付けするこ とができる.

Figure: Picasaでの顔認識の例
eps/picasa.eps

3 システム概要

1 アルバムシステムの基本設計

1 システムの流れ

提案システムの流れを述べる.ここでアルバムとは旅行などのイベントで,ユー ザが画像を登録する最小単位である.1つのアルバムは数百枚の画像を持つこと を想定している.
1#1

オリジナル画像から2種類の縮小画像を作成するのは表示の際に画像の読み込み を早くするためと各種検出を行いやすくするためである.縮小画像のサイズ 2#23#3 は元の画像のアスペクト比が変化しないように 決定する.

顔検出では画像内の顔の出現位置とサイズを正規化するためオリジナルサイズの 画像ではなく2#2のサイズの縮小画像から検出を行う.また,物体検出 は他の検出に対して非常に時間がかかるため3#3のサイズの縮小画像か ら検出する.一方,ぶれ検出では縮小による影響でぶれの発生や増減を防ぐため オリジナルサイズの画像から検出を行った.

2 ユーザとデータの扱い

本研究では,以下に列挙する点から画像や各種評価値,メタデータなどをデータ ベースを用いて管理する.

本研究で構築したデータベースの実体関連図を図[*]に示す.
Figure: 本システムで用いたデータベースの実態関連図
eps/e-r.eps

2 システムの機能

1 重要画像の選出

本研究の主目的である重要画像の選出は顔画像認識,物体検出,ぶれ画像検出の 結果を用いて選択する.各検出は登録後に自動で行いデータベースに登録する. 検出のフローチャートを図[*]に示す.
Figure: 顔検出,ぶれ検出,物体検出のフローチャート
eps/register1.eps

アルバム閲覧の際に画像とともに各種検出値をデータベースから取得し,ブラウ ザ側で画像を選出する. そのため,ユーザがリアルタイムで選出画像を変更することができる.

本システムのアルバム閲覧画面を図[*]に示す.

[*]を見るとわかるように閲覧画面は大きく4つに分割されて いる.

左上の画面はGoogleMapsAPIを利用した地図画面で,選出された画像の位 置情報に応じたマーカーが表示される.マーカーをクリックすることでそのマー カーに対応した画像を吹き出しウィンドウに表示する.

右上の画面は選出画像の詳細が表示される.この画面をクリックすることで地図 上のマーカーをクリックしたときと同様に吹き出しウィンドウを表示することが できる.

左下の画面は選出された画像のサムネイル画像の一覧である.選出枚数が多い場 合などに選出画像の全体を見ることができる.また画像をクリックすることで右 上の詳細画面がクリックした画像に移動する.

最後に右下の画面であるが,ここは選出手法や選出のパラメータを手動で設定す ることができるコントロールパネルである.このコントロールパネルでは大きく 分けて2つの選出を行える.1つは重要度の枚数を1から100までスライダで設 定し重要度を選出するモードであり,本論文で提案する重要度を利用する. もう一方はユーザが選出する画像のパラメータを細かく設定できるモードであり, 枚数指定を行わず設定に適合した画像を選出する.

Figure: 本システムでのアルバム閲覧画面
eps/summary5.eps

2 パノラマ画像の生成

アルバム内で位置と時間が非常に近い画像に対してパノラマ画像の生成を試し, 生成したパノラマ画像をアルバムに追加する.その際,パノラマ画像の撮影位置, 撮影時刻は元の画像の中で最も新しい画像のものを利用した.

パノラマ画像の生成とデータベースへの登録までのフローチャートを図 [*]に示す.

Figure: パノラマ画像の生成とデータベースへの登録
eps/panoramacreate.eps

3 アルバムの共有

本システムではユーザはアルバムごとに画像を見る.しかし,風景写真のような 画像は撮影時に天候不順などの理由で満足できる画像が撮影できないことがある. 本システムでは,ユーザがアルバム内の1枚を選んだときにその画像の撮影位置 と近い場所で撮影された別のアルバムの画像を表示する機能を付与する.

4 位置情報の補正

登録画像の中にはGPS情報が付与されていない画像や,誤った位置情報が付与さ れている画像がある.そのため位置情報の補正を行う.

4 手法詳細

1 画像認識技術

本研究では人手によるアノテーションを利用することなく画像を選出するために 画像の撮影位置,時刻という画像のメタデータに加え以下の3つの画像認識技術 を用いた.

1 顔画像検出

顔画像検出はコンピュータビジョンの世界では古くから行われている研究である. その中でもViolaら[3]によって提案され,Lienhartら [4]によって改良された顔検出器を利用した.

この手法は図[*]に示すような4種類のサブウィンドウの Haar-like特徴を用いて顔画像を検出する.OpenCVでもライブラリが提供されて いる.本研究ではOpenCVのライブラリを利用した.

Figure: Haar-like特徴を計算する4種類のサブウィンドウ([3]から引 用)
eps/haar-like.eps

2 ぶれ画像検出

画像のぼやけ検出の研究としてHanghangら[5]の研究がある. この研究では種類の異なるエッジを検出し,検出されたエッジの数によってぶれ 画像の判定とぶれの程度の評価を行った.

エッジは一般にDirac-Structure,Roof-Structure,Step-Structureの3種に分 類されるが,この手法ではさらにStep-Structureを輝度変化の勾配に応じて Astep-Structure,Gstep-Structureの2種に分類した.4種のエッジの輝度勾配 を図[*]に示した.

Figure: Hanghangら[5]の研究で用いられた4種類のエッ ジの輝度勾配([5]から引用)
eps/4edgetype.eps

ぶれのある画像ではDirac-StructureエッジとAstep-Structureエッジの両方のエッ ジが消失し,Gstep-StructureエッジとAstep-Structureエッジも輝度変化の鋭さ が低下する. そのためDirac-StructureエッジやAstep-Structureエッジを持つかどうかで画像 のぶれが存在するか否かを判断し,Gstep-Structureエッジと Roof-Structureエッジの割合で画像のぶれの程度を決定する.

入力画像に対して図[*]に示すように3段階までのHaar wavelet transformを行い3つのレベルに応 じたエッジマップを作成する.この3つのマップからエッジを検出する.この手 法ではエッジ検出の際に1つ,ぶれ判定の際に1つのパラメータを設定する必要 がある.本手法では著者らの行った実験と同様の値を用いた.

著者らの実験ではぶれのない画像1398枚,モーションブラーを含む画像479枚, ピントがずれた画像458のテストデータに対し表[*]に示す精度を 得た.

Figure: 3段階のHaar wavelet transformを行った結果の図 ([5]から引用)
eps/hwt.eps


Table: Hanghangら[5]によるぶれ検出の精度 ([5]から引用)
Test Image Set Number Accurary(%)
Un-blurred 1398 98.21
Motion Blur 479 98.33
Out-of-focus Blur 458 100
Total 2355 98.60

本研究では失敗画像を除去するためにぶれ画像検出を利用した.

3 物体検出

Bogdanら[6]の研究では画像中の物体がありそうな領域とその 領域の物体らしさを算出する手法が提案された.これは画像中から草原や水のよ うな背景と対照的な車や犬のようなオブジェクトを含むようなサブウィンドウと そのウィンドウの物体らしさを定量化する手法である.物体らしさは0以上1以 下の実数で表現される.1に近いほどサブウィンドウに物体が含まれている可能 性が高いことを表す.

物体検出手法を用いると図[*]の赤枠に示すように物体らしさ が高いと判断されるサブウィンドウを検出できる.

この手法は著者のウェブページでソースコードが公開されているためすぐに利用 できる.本研究では著者が公開している最新版のObjectness measure V1.54を利用した.

Figure: Objectness measure V1.5によるサブウィンドウの選出の例
eps/objectness.eps

2 重要画像の評価

1 評価値の統合

重要画像の選出にあたってはまず画像のメタデータを用いたクラスタリングを行 った.その中から各種検出値の値を組み合わせた重要度を計算し重要度の高いも のを選択した.

利用する検出値は顔検出の結果,ぶれ検出の結果,物体検出の結果である.検出 にあたってはまずぶれ画像は撮影に失敗した画像であるとしてぶれ検出によりぶ れ画像と判断された画像を除外する.次に顔が3つ以上検出された画像は集合写 真のような画像だと考えられるため,重要度を検出された顔の数+100とした.こ こで100を加えるのは顔が2以下しか検出されなかった画像と差別化を図るため である.最後にぶれが検出されず,顔が2つ以下しか検出されなかった画像に対 しては,物体検出の結果で物体らしさが0.9以上と物体の存在の可能性が高いと 判断されたサブウィンドウの数を100で割った値と検出された顔の数を足したも のとした.以下に重要度決定のルールを示す.


4#4

重要画像の選出の際にはアルバム内の画像を撮影時刻と撮影位置でクラスタリン グを行い,クラスタ内で最も重要度の高い画像を選出する.クラスタリングは前 後の画像との撮影時刻の差が60秒以内かつ緯度経度の差が0.0005度以内の画像を 1つのクラスタとして扱う.クラスタリングのアルゴリズムをアルゴリズム [*]に示す.比較手法であるランダム手法,顔検出の結果の みを利用する手法でも同様のクラスタリングを行う.
5#5

3 パノラマ画像の生成

パノラマ画像の自動生成プログラムとしてAutostitch5などがある.このパノラマ画像生成プログラムは画像からSIFTによるマッ チングを行いパノラマ画像を合成する.SIFTとはLoweによって提案された 局所特徴量を記述するためのアルゴリズムであり,特徴点の検出と局所特徴量の 記述を行う[7].SIFT特徴は画像の回転,スケール変化,照明の変化に 頑強であり,現在の一般物体認識においてよく用いられる特徴量の1つである.

本研究ではOpenCVライブラリにあるopencv_stitchingを利用した.これは特徴量 としてSIFTではなくSURFを用いたプログラムである.SURFとはBayらによって提 案されたSIFT同様,画像の回転,スケール変化,照明変化に頑健な64次元の特徴 量である[8].SIFTよりも高速で同等の精度がある.画像からSURFによ る特徴点とその局所特徴の対応付けを行うことでパノラマ画像を生成する.

本システムで生成したパノラマ画像の成功例を図[*]に,失敗 例を図[*]に示す.

4 アルバムの共有

本研究のアルバムシステムの機能としてアルバムの共有機能がある.これは天候 不順による視界不良で本来見られる景色を撮影できなかった時に利用することを 想定する.

[*]に示すようにアルバム内のある画像を選択したときに,別の アルバムに含まれる位置情報が近い画像を選択し表示する.

Figure: アルバム共有画面:雲が無かったため麓の街 の夜景がみられたが雲がかかった場合雲海のような景色を見ることができた
eps/share.eps

5 位置情報の補正

本研究ではExif領域に位置情報を持つ画像を対象とするため本来すべての画像に 位置情報が付与されている.しかし,実際に撮影された画像を調べてみるとカメ ラ電源を入れた直後に撮影された画像には位置情報が付与されていないものがあっ た.そのため例外的に位置情報を持たない画像に対して位置情報の補正を行う機 能を備えた.

位置情報がない画像に対する位置情報の補正は,撮影時刻の最も近い位置情報付 き画像の位置情報をそのまま利用することで補正とした.

5 実験

作成したアルバムシステムにおける重要画像の選出手法について実験を行った. 撮影位置と時刻でクラスタリングしたものの中からランダムで選出する方法,顔 検出の結果のみを利用する方法でも画像の選出を行い,提案手法と比較を行った.

また,本システムのパノラマ画像自動生成機能,アルバムの共有,位置情報の補 正の各機能の結果についても述べる.

1 データセット

データセットは研究室内の位置情報付き画像アルバムから2009年,2010年,2012 年の富士登山のアルバム画像を用いた.アルバムごとの画像枚数は表 [*]に示すとおりである.

これらの画像の中にはExif情報に位置情報を持たないものもあるが,それらの画 像はGPSログから位置情報をデータベースに登録した. 画像はZIPファイルにまとめてシステムに登録する.

Table: 実験で用いたデータセット
アルバム アルバムに含む画像の枚数
2009年 456
2010年 337
2012年 549
1342

2 評価方法

評価は3種類の選出方法に対して各アルバムから100枚の画像を選出し,以下の3 点の評価の観点から最も評価できる選出手法を投票する方法をとった.
6#6

また,評価の投票とは別に選出手法についての感想欄,表示システムについての感想欄 を用意し,評価者の感想を得た. 評価ページは図[*]に示すような画面である.

評価ページは大きく4つの領域に分かれている. 左上の画面は選出画像の位置情報を元に地図上に画像を表示する領域である. 右上の画面は選出画像の詳細が表示され,この画面をクリックすることで画像の マーカーに吹き出しウィンドウが表示される. 左下の画面はアルバムに登録されているすべての画像の一覧表示を行う画面であ る.画像の周りの色が水色に変化した画像が選出された画像である.選出画像と 選出されなかった画像を同時に見ることで選出の善し悪しを比較することができ る. 右下の画面は3種類の選出手法を選択する画面である.

Figure: 実験を行った評価ページ
eps/summary3.eps

3 評価結果

重要画像の選出手法を評価した結果を表[*]に示す.実験ではアル バムごとに5人から評価を得た.2010年のアルバムの1票は3種の選出手法にほ とんど差が見られないという評価であった.

2009年,2012年のアルバムでは顔検出の結果のみ利用した手法が評価された. 一方,提案手法は2010年のアルバムでのみ評価される結果となった. 提案手法,顔検出の両手法はそれぞれランダム手法よりは重要画像の選出を行え た.


Table: 選出手法の評価結果
アルバム 提案手法 ランダム 顔検出の結果のみ利用
2009年富士登山アルバム 1 0 4
2010年富士登山アルバム 3 0 1
2012年富士登山アルバム 1 1 3

4 実行例

3種類の選出手法それぞれで20枚の画像を選出した例を示す.図 [*]は提案手法による重要画像の選出の実行例, 図[*]は顔検出の結果のみを用いて重要画像を選出した例,図 [*]はランダムで20枚選出した例である. 提案手法,顔検出を利用した選出例では集合写真の画像が選出されている. 提案手法,顔検出手法はそれぞれランダムに選択するよりはよい選出を行ったと 言える.提案手法,顔検出手法,ランダム選択で共通して選出される画像が含ま れるが,これは1枚の画像のみのクラスタから画像を選出しているからである.
Figure: 提案手法により画像を選出した例
eps/teian20.eps
Figure: 顔検出の結果のみ利用して画像を選出した例
eps/face20.eps
Figure: ランダムに20枚選出した例
eps/random20.eps

パノラマ画像の自動生成によって生成されたパノラマ画像を図 [*],図[*]に示す. 自動生成されたパノラマ画像計146枚中22枚 が上下が反転していたり図[*]に示すようなゆがんだパノラマ 画像となった.また明らかな失敗画像ではないが,元の画像とほとんど変わらな い画像も生成された.

Figure: 自動生成したパノラマ画像の成功例
eps/panorama1.eps

Figure: 自動生成したパノラマ画像の失敗例
eps/panorama2.eps

[*]の画像に対してアルバム共有機能によって集められた画像 の結果を図[*]に示す.本研究では緯度経度の差が0.0005以内の画像 をデータベースから選出した.

Figure: アルバムの中の1枚を選択した画面
eps/share_0.eps
Figure: 共有機能によって別のアルバムの画像を表示
eps/share_1.eps

[*]は図[*]に示す画像に対して位置情報の補正を行っ た結果である.

Figure: 位置情報のない画像
eps/fuji0.eps
Figure: 位置情報を補正を行った画像
eps/fuji1.eps

5 考察

アルバムからの重要画像の選出手法について提案手法と顔検出手法は高い評価を 得た.顔検出がうまく行われたため顔検出の結果を用いた提案手法と顔検出の結 果のみを利用した手法が評価されたものと考えられる. 一方で顔が検出されたが実際には顔が写っていない画像もある.顔の検出の精度 を上げることでより優れた選出が行えると考えられる.

また提案手法よりも顔検出の結果のみ利用した手法が評価されたのは提案手法で はぶれ画像の検出値を用いてぶれ画像を除去することが1つの要因になったと考 えられる。 提案手法では顔が検出されてもぶれ判定を優先して行うため顔検出のみを用いた 手法のほうがぶれ画像を含め多くの顔画像を選出できたと考えられる.

ぶれ検出の結果でぶれ画像を除去する提案手法は朝焼けなどの風景写真をぶれ画 像と検出してしまい,朝焼けの画像を選出できないという欠点もあった.

評価者の感想の中には,集合写真も重要であるが風景や植物などの人物以外が写 る画像を選択できるといいという意見もあった.本システムではユーザの好みに 応じて重要画像を選出できるように顔の数,ぶれ画像の除外,物体らしさの指標 を選択できるが,風景画像を本システムで選出するのは難しい.様々な好みのユー ザに対応できるようにするためには顔検出や物体検出以外の手法でも画像を評価 する必要がある.

本システムでの機能の1つにパノラマ画像の生成があるが,パノラマ画像の生成 でもいくつか問題がある. パノラマ画像生成の失敗の1つにある画像がもう1枚の画像に完全に内包される ような画像(同じものをズームして撮影した画像と引いて撮影した画像)での合成 があった.これとは別にほとんどずれのない画像のパノラマ合成もあった.これ らの合成画像は元の画像と写っている範囲があまり変わらないため,時間をかけ てパノラマ画像を生成するのは無駄である.

この対策として合成する際に2枚ずつ画像を合成し,元の画像よりもサイズが大 きくならなかったものはパノラマ画像の生成に失敗したものとしてパノラマ画像 の登録を行わないことが考えられる.

6 おわりに

1 まとめ

本論文では位置情報付き画像に対する画像認識技術を利用した重要画像選出シス テムを提案した.

本システムの特徴は画像の位置情報,撮影時刻などのメタデータの他に顔検出, ぶれ検出,物体検出の検出結果を用いて重要度を計算した点である.重要度によっ て表示する画像を選出する.

画像のメタデータを用いて撮影位置,撮影時刻が近い画像に対してはパノラマ画 像の生成を自動で行うパノラマ画像自動生成機能を持つ.

またアルバム内の画像を選択するとその画像の撮影位置と近い場所で撮影された 別のアルバムの画像を表示するアルバムの共有機能も実現した.

位置情報が付与されていない一部の画像に対して撮影時刻の近い画像から位置情 報を付与することで位置情報を補正する機能を持つ.

重要画像選出の提案手法は撮影時刻と位置情報からクラスタリングを行いその中 からランダムで画像を選出するよりも重要な画像を選出することができた.

2 今後の課題

顔が写っている画像なのに顔検出の結果顔が検出されないことや,顔が写ってい ないのに顔が検出されたことから顔検出の精度向上が今後の課題である. 顔検出の結果を用いることで重要画像の選出に効果があることがわかったので, 顔検出の精度を向上させて重要画像の選出精度を向上させる.

現在の顔検出,物体検出に加え新たな特徴量を導入し,よりユーザの好みに応じ た画像の選出を行えるようにする.

アルバムの共有機能が限定的なのでアルバムの共有機能を拡充する.

評価者の感想にもあったがよりユーザが使用しやすいインタフェースの作成を行 う必要がある.

Bibliography

1
F. D. F. Hugo, A. L. Yuri, C. D. P. Anselmo, A. C. Marco, and D. S. B. Cláudio.
Photogeo: a photo digital library with spatial-temporal support and self-annotation.
In Multimedia Tools and Applications, pp. 279-305, 2011.

2
奥山 幸也.
位置情報付き写真の撮影軌跡を用いた旅行ルート推薦システム.
Master's thesis, 電気通信大学院電気通信学研究科 情報工学専攻 修士論文, 2011.

3
P. Viola and M. Jones.
Rapid object detection using a boosted cascade of simple features.
In Proc. of IEEE Computer Vision and Pattern Recognition, pp. 511-518, 2001.

4
R. Lienhart and J. Maydt.
An extended set of haar-like features for rapid object detection.
In Proc. of the International Conference on Image Processing, 2002.

5
T. Hanghang, Li. Mingjing, Z. HongJiang, and Z. Changshui.
Blur detection for digital images using wavelet transform.
In Proc. of IEEE International Conference on Multimedia and Expo, pp. 17-20, 2004.

6
A. Bogdan, D. Thomas, and F. Vittorio.
What is an object?
In Proc. of IEEE Computer Vision and Pattern Recognition, pp. 73-80, 2010.

7
D. G. Lowe.
Distinctive image features from scale-invariant keypoints.
International Journal of Computer Vision, Vol. 60, No. 2, pp. 91-110, 2004.

8
H. Bay, T. Tuytelaars, and L. Van Gool.
SURF: Speeded up robust features.
In Proc. of European Conference on Computer Vision, pp. 404-415, 2006.



Footnotes

... Panoramio1
Panoramio. http://www.panoramio.com/.
... Flickr2
Flickr. http://www.flickr.com/.
... Picasa3
Picasa. http://picasa.google.co.jp/
... V1.54
Objectness measure V1.5. http://groups.inf.ed.ac.uk/calvin/objectness/
... パノラマ画像の自動生成プログラムとしてAutostitch5
Autostitch. http://www.cs.bath.ac.uk/brown/autostitch/autostitch.html