![]() |
YANAI Lab.電気通信大学 総合情報学科/大学院 総合情報学専攻 メディア情報学コース 柳井研究室 |
電気通信大学 > 情報工学科 > コンピュータ学講座 > 柳井研究室 > 研究紹介 |
ツイート画像を用いた実世界イベントの検出中地 悠介 2012年 2月 8日 1 はじめにスマートフォンをはじめとする位置情報を扱えるモバイル機器の普及に伴い, 位置情報付きのデータの利用が容易になった.また,Twitterの普及により, 多くの人が手軽に位置情報付きの画像や文章をWebにアップロードすること が可能となった.これらのリアルタイム性を持つ位置情報付きデータは, Webマイニング対象として様々な利用可能性が考えられる. Twitterの投稿データ(ツイート)を対象としたテキストマイニングに関する研 究やWebサービスは存在するが,画像を利用したものは調査した限りでは 存在していない.
2 目的本研究では,Twitterのタイムラインを通して位置情報付き画像を収集,分析す るシステムを作成し,実世界イベントの検出を試みる. イベントとは,例えば台風や地震といった自然災害や,それに伴う公共交通機関 の障害,また単純な催事などの,広範囲で多人数に影響のある 事象を想定している. そうした画像から代表的なものを抽出し地図上で閲覧できれば,リアルタイム に「全国で何がおこっているか」を視覚的に知ることが可能となる.
3 関連研究Twitterデータを用いたイベント検出として,榊らの研究や Leeらの研究がある. これらはいずれもツイート本文やユーザ数といったテキスト情報に基づき, イベントを検出している.代表画像の選出方法として,Visual Rankがある. また,VisualRankを位置画像に適用したGeo Visual Rank という手法が存在する.
4 手法まず,Twitterから位置情報付き画像を,Streaming APIを用いて収集し, 収集した画像から特徴量を求める.本研究では高速な勾配特徴量である SURF特徴量と,色特徴としてRGBヒストグラムを用いた.次に,クラスタリングを行う. 代表画像に似た画像をイベント画像として提示するため, 一般的なクラスタリング手法であるK-Means法で画像の クラスタリングを行う. 同時に,位置情報と時間情報についてもクラスタリングを行う. 位置情報はMean-Shift法でクラスタリングを行い, 位置情報クラスタを作成し,その代表位置を求める. 時間情報は,投稿時間に応じて四つのクラスタに分類した. 最後に,Geo Visual Rankで注目座標と注目時間を設定し, 代表画像を選出する.代表画像と同じ画像クラスタに 属する画像を,イベントを示す画像として提示する.
4.1 画像特徴量画像特徴には,SURF記述子[1]によるBag-of-Features表現と RGBヒストグラムを用いた.SURFアルゴリズムは類似の特徴量検出アルゴリズム に比べて高速な勾配特徴である.Bag-of-Features表現は,局所特徴量の出現頻度を ベクトルで表現したものである.コードブックと呼ばれる代表的な特徴の集合を 作成し,それらのうち最も類似した特徴に投票し,その頻度を数え, 特徴ベクトルとする.同じコードブックを用いてBag-of-Features表現を 作成することにより,異なる画像間でBag-of-Features表現を比較することが可 能となる.本研究では2011年9月に投稿された位置情報付き画像からランダムに 5000枚の画像を収集し,次元数2000のコードブックを作成した.RGBヒストグラムは画像の各ピクセルについて色の出現頻度をカウントし, ヒストグラムで表現したものである.二つの特徴量を併せて使用することで, 画像を形状と色の情報を持つベクトルで表現することができる.
4.2 クラスタリング4.2.1 K-Means法K-Means法はクラスタリング手法の一種で,次の手順でデータをK個のクラスタに 分割する.
4.2.2 Mean-Shift法Mean-Shift法[2]は カーネル密度推定を用いたデータ分析手法で, あるデータ点![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]() ![]()
4.3 Geo Visual RankGeo Visual Rank[3]は画像の類似度から代表的な画像を選出する アルゴリズムであるVisual Rankを,位置情報付き画像へ拡張したものである. Visual Rankアルゴリズムでは,式(3)を![]()
Geo Visual Rankでは,注目点と呼ばれる座標を1点指定する. 画像の持つ緯度,経度を用いて注目点との距離を 球面三角法で計算し,注目点に近い位置で撮影された 画像がより上位にくるよう補正を行う.
本研究では座標による注目点(注目座標)の他に注目時間を設定し,位置情報と同様に扱う.
位置情報によるバイアスベクトル
ここで,
5 実験異なる条件でTwitterから収集した画像を用い,三つのデータセットを作成した. その一覧を表1に示す.
画像クラスタの作成は,SURFによるBag-of-Features表現とRGB
カラーヒストグラムを合成し,特徴ベクトルをK-Means法でクラスタリングして
行った.特徴の重みは均一とした.
クラスタ数Kは各クラスタの画像枚数を確保するため,(分類される画像の総数
時間情報クラスタは,ツイートの投稿時間を用いて作成した. 本研究では,表2に従って 四つのクラスタを作成した.
5.1 実験結果5.1.1 位置による代表画像の変化図1は,地震データセットについて 注目時間を固定(0![]()
5.1.2 時間による代表画像の変化図2は「正月」データセットについて, 同一の注目点(東京)に対して注目時間を変化させた時の結果例である. 時間による補正によって,0![]()
6 考察Twitterでは短文による投稿を複数行うため,推敲などが あまり行われず,表記揺れが発生しやすい. そのため,投稿内容が必ずしもイベントを表す語を含んでいるとは 限らない.例えば「雨がたくさん降っている」や「風が強い」 などの本文で,台風を表す画像が投稿されることは容易に想定できる.クエリワードを設定せずに集めた「地震」データセットでは, 西日本における平時の画像に対して,東日本における震災の 影響を示す画像というように,地震というイベントの影響下に あった地域が視覚的に得られた. これには,東北地方太平洋沖地震が大規模な自然災害であったことも 原因として考えられる. 大規模なイベントの影響下では,そこから投稿される画像の ほとんどがそのイベントに関連するものと考えられるからである.
7 今後の課題今後の課題として,まずシステムのリアルタイム化が挙げられる. Twitterのリアルタイム性を活かすため,画像を収集し,特徴量を抽出し, Geo Visual Rankを自動で再計算できることが理想である.また,各データセットについて,時間クラスタをより細分化したり, クエリ無しでデータを収集して再度試してみることで よりイベントを明確に検出できることが考えられる. 海外画像への対応も,システムの拡張として挙げられる. 特に世界各地の初日の出など,時差によるイベントの検出が 可能になると考えられる.
文献目録
|