Twitter画像の大規模時空間分析

長野哲也

Date: 平成 28 年 2 月 14 日

1 はじめに

現在、スマートフォンの普及により、世界中の人達が写真を撮っている。また、TwitterといったSNSに写真を載せるため、Twitter上には、大量の画像が存在している。こうした画像には、投稿した場所のデータが存在する。このデータから、画像を分類することで、地域における画像の特徴について新しい発見をする可能性がある。

本研究では、Twitterの画像を収集し、クラスタリングを行い画像を分類する。分類した画像を場所のデータで分析することで、地域間における画像の傾向の違いを発見することを目的とする。本研究における地域とは、「北米」、「ヨーロッパ」といった世界を地域別で分類した際の地域とする。実験では、2016年1月から6月までのTwitterログを用い、ログから画像を216万1000枚取り出した。その画像をジャンルで分類し、更に、地域別にジャンルの割合について分析を行い地域別の特徴の分析を行った。

2 関連研究

Twitter画像の分析は、テキスト解析と画像認識を併用しイベント画像検出 [#!schi15!#][#!kaneko2016event!#]などが行われてきた。 [#!kaneko2016event!#]は、ジオタグと写真の両方を含む投稿からイベントを検出する手法を開発した。大量のデータに対応するため、テキストを分析して、イベントに関するキーワードの検出を行い、画像をクラスタリングし画像を分類した。実験結果では、花火などのイベント画像が検出され、イベント画像のクラスタリングの適合率は65.5％となった。しかし、これらの研究では、最初にテキスト解析で対象とする画像を絞り込むため，画像だけの投稿や、テキストで表現が難しいような画像を含む投稿が捨てられている問題点があった。

そこで，本研究では，テキストをまったく使わずに画像特徴のみでTwitter画像を数百万枚単位で大規模に分類することによって、地域による投稿画像の傾向の違いを発見することを目的とする。

3 概要

本研究の手法の流れの全体は、以下のようになっている。

画像の収集と画像の特徴量抽出
画像のクラスタリングと画像の分類
分類結果の可視化と地域別の特徴の分析

4 手法詳細

1 画像の収集

本研究では、Twitterログに緯度経度のデータが含まれる画像を収集する。

2 画像の分類

収集した画像を、DCNN特徴[#!donahue2014decaf!#]を利用し、画像の特徴量を抽出する。この特徴量を採用することで、画像の意味を考慮した特徴量を使用することが可能となる。 DCNN特徴量はCaffe[#!jia2014caffe!#]を用いて抽出した。 Caffeとは、Deep Learningフレームワークであり、画像認識の分野で広く用いられている。 Caffeを使用した際の事前学習済みのモデルとして、本研究ではcaffenetを使用した。

次に、収集した画像の特徴量でクラスタリングし、画像を分類した。本研究では、最も一般的な手法であるK-meansを採用し、 pythonのオープンソースの機械学習ライブラリのscikit-learnにあるK-meansを使用した。 K-meansを行う際に、始めにどれだけの数で分類するかを決定する必要がある。本研究では、クラスタ数を100とし、クラスタリングによる結果から画像の種類を検出した。

3 結果の可視化

K-meansによってクラスタリングされた画像を表示し画像の種類を分類した。分類した結果から画像のジャンルを人手で調査した。画像がどの地域で投稿されたかを分析するため、Google Maps APIを使用した。 Twitterのログに記録されている画像の緯度経度を使用し、Google Mapsにマーカーを作成した。

5 実験

実験では、2016年1月から6月までのTwitterログから緯度経度が記録されている画像を取り出した。取り出した画像数は計216万1000枚となった。取り出した各画像のDCNN特徴量をcaffeを用いて抽出した。次に、取り出した特徴量を K-meansで分類を行う。クラスタリング結果から画像のジャンルを調査した。

分析した地域として、東アジア、北米、南米、ヨーロッパ、アフリカ、中東、南アジア、東南アジア、オセアニアの地域に定め、各地域の画像の特徴について分析を行った。まず、クラスタリングされた画像について、画像のジャンルの分析を行った。分析を行う際に、各クラスタごとの画像の数を集計した。そして、数が多いクラスタに注目し、そのクラスタに含まれる画像の種類を分析した。画像の数を指標にし、重心の数や各月、地域別で画像のジャンルについて分析を行った結果、 9つの地域で検出された共通の画像のジャンルとして、人、建物、文章、風景、食べ物の5つのジャンルであった。月を変更して画像のジャンルを調査したが、検出される共通の画像のジャンルが月別で変わることはなかった。

検出された共通の画像のジャンルを使用し、各地域の画像のジャンルの割合を分析した。各地域の分析において、投稿された数が多い画像のジャンルについて集計し分析を行った。分析した結果として、1月から6月までの各地域の画像の割合を図1で表し、 1月から6月までの分析結果の合計を表1に記した。

6 実験結果

分析結果の図1や表1から、東アジアは人の画像がほとんど無く、建物や食べ物を多く投稿していた。建物と食べ物の割合を合わせると、全体の7割を占める数になった。南米は、人が写っている画像を多く投稿しており、他の画像の種類の投稿と比べて倍以上の差をつけて投稿されていた。ヨーロッパは、9つの地域の中で投稿数がトップであった。アフリカは、人の画像が投稿数の7割を占めていた。南アジアは、全体の投稿の割合を文章が半数を超えていた。これは、他の地域には見られなかった。東南アジアは、南米やアフリカと同様に人の画像が多かったが、加えて、食べ物の画像も多かった。各地域の食べ物の画像数でみると、東南アジアが一番多く食べ物の画像を投稿していた。今回の実験では、オセアニア地域の投稿数が1万未満だったので、分析対象から除外した。

7 おわりに

本研究では、Twitterの画像を収集しクラスタリングを行った。そして、地域間の共通の画像のジャンルの割合を分析した。共通の画像のジャンルと緯度経度を使用して、地域間の画像の特徴の分析を行った。分析の結果から、地域別の画像の特色などが見られた。

今後の課題として、本実験で定めた共通画像のジャンルを更に細分化することで、より一層、新たな地域の特徴が判明されると考えられる。例えば、人のジャンルを自撮りや集合写真といったように細かく分けることで新たな特徴が検出されると考えられる。

**Table 1:** 1月から6月までの各地域の分析結果の合計

**Figure 1:** 1月から6月までの5種類の画像の地域別割合

section*ReferencesReferencesReferences 1-0.1zh 11pt enumiv 4000 4000 `.

M. Schinas, S. Papadopoulos, P. A. Mitkas, and Y. Kompatsiaris.
Visual event summarization on social media using topic modelling and graph-based ranking algorithms.
In Proc. of International Conference on Multimedia Retrieval 2015, pp. 203-210, 2015.

K. Takamu and Y. Keiji.
Event photo mining from twitter using keyword bursts and image clustering.
Neurocomputing, Vol. 172, pp. 143-158, 2016.

J. Donahue, Y. Jia, O. Vinyals, J. Hoffman, N. Zhang, E. Tzeng, and T. Darrell.
DeCAF: A deep convolutional activation feature for generic visual recognition.
In Proc. of International Conference on Machine Learning, pp. 647-655, 2014.

Yangqing Jia, Evan Shelhamer, Jeff Donahue, Sergey Karayev, Jonathan Long, Ross Girshick, Sergio Guadarrama, and Trevor Darrell.
Caffe: Convolutional architecture for fast feature embedding.
In Proceedings of the 22nd ACM international conference on Multimedia, pp. 675-678. ACM, 2014. Empty `thebibliography' environment

YANAI Lab.