柳井研究室 (Yanai Lab.)

研究内容

　本研究室では，深層学習(ディープラーニング)を用いた画像・映像認識の研究を行っています．

「画像映像認識・生成 (Image and Video Recognition/Generation)」「深層学習 (Deep Learning)」　
「Webマルチメディアマイニング (Web Multimedia Mining)」「深層学習モバイルアプリ」

が当研究室の研究キーワードです．これらに４つに関連する研究，特に４つを組合せた研究を行っています．最近では，深層学習を用いた画像・映像生成，画像の意味的変換についても研究を行っています．実装した深層学習モデルをスマートフォン(特にiPhone)で動かすことも積極的に行っています．

大量の画像・映像データを画像・映像認識技術によって処理するためには，数百万枚規模の画像，数百~数千時間分の映像を処理する必要があります．そのための設備として，500TB規模の大容量のファイルサーバ，50台以上の計算機からなるクラスタ計算機システム，合計100GPU以上からなるGPUクラスタ(10GPUサーバ2台，4GPUサーバ22台, 2GPUサーバ16台)が研究室にあります．これらは研究室内クラウドとなっており，空いているサーバをいつでも自由に使うことが可能になっています．特に，最近は画像認識においてDeep Learning技術が重要になっていますが，そのために必須のGPUは学生一人当たり8枚以上用意されていて，GPUを駆使した深層学習の最新の研究を行うことが可能です．

主な研究プロジェクト

「食事画像認識による画像からのカロリー推定」

「生物ロギングのためのモバイル画像認識」

「単一ネットワークへの複数機能の学習」

「質感画像の認識と生成・変換」

「深層学習を用いたフォント文字生成」

「深層学習ネットワークのスマートフォン上での効率的な実装」

「Twitterストリーム上の画像傾向分析」「Twitterからの大規模食事画像DBの自動構築」

など様々な課題に取り組んでいます．

研究概要

（以下，改定中です．)

一般的画像認識のための学習材料をコンピュータ自身に集めさせる

　近年，デジタルカメラの急速な普及や，Web（インターネット）上の画像情報の飛躍的増大により，デジタル画像の意味をコンピュータに自動認識させること（一般画像認識）への要請が高まっている．しかし，現状では対象を絞り込んで，その対象だけに適用できる独自の方法を用いれば，人間の顔などはある程度認識できるレベルにあるが，対象を限定しない一般的な画像認識の場合は，まだ実現が難しい．当研究室では，こうしたコンピュータでの一般画像認識について，その方法論とアルゴリズムを研究している．

　たとえば，「ライオン」を認識する場合，人間であればライオンがどこで（動物園で，あるいはサバンナで）どんな格好をしていようと（走っていようと寝そべっていようと），またライオン型の帽子や，可愛いらしくデフォルメされて服の模様になっていようと，たやすく「これはライオンである」と認識できる．ところが，こうした一般的認識がコンピュータでは非常に難しい．

　これを実現するためには，実際には，膨大な量の画像情報を前もってコンピュータに学習させておくことが必要であり，しかも，その画像はできる限り多様なものであることが望ましい．また，コンピュータの認識・学習のために，画像の示す概念と画像を対応させるキーワードを付けておく必要もある．このように，コンピュータに学習させるその題材を集める段階で，既に大変な作業が要求されるのである．そこで，当研究室では，コンピュータにWebからキーワードの付いた画像を自動的に収集させるシステムを研究しており，これをWeb画像マイニングと呼んでいる．Web上には，現在，多種多様な画像が存在すると考えられる．また，Webの画像にはキャプションなどの文字情報も付いている場合が多く，それを利用すれば，画像にキーワードを人為的に付けてやる手間も省ける．Web上の画像を一般画像認識に利用することは有効な方法なのである．

　Webからの画像収集の目的は，実世界の画像例をできる限り多く集めることにより，コンピュータのための画像辞書といったもの（「実世界画像コーパス」）を作ってやることである．最終的には将来，一般的画像認識，つまり写真を見ればどんな写真でも理解できるコンピュータを実現することを目指している．

　以下の写真は，当研究室のシステムによって，Webから自動収集した「夕日」「滝」画像である．他の結果もここで公開している．

研究の特色

Webマイニングと画像認識の融合とWeb画像の収集手法および収集した画像の評価手法を開発

　研究概要で述べた一般画像認識のための画像をWebから自動的に収集することはために，Web画像マイニングのシステムを開発しているが，これは収集した画像からより適切な画像を選び出すために確率的手法を用いるもので，研究室の開発した新しい方法論と言える．

　また，言語概念と画像との関係についてWeb上の画像を用いて解析する研究も行っている．たとえば，「赤い」「楽しい」「豪華な」などの形容詞や形容動詞のうち，どれが視覚的な概念（特徴的な画像が連想される概念）であるかを数値化するための指標「画像エントロピー」を開発した．これは，Webから集めた画像がどの程度まとまったものであるかを示す指標で，画像につけるキーワードや画像認識に用いる概念として適切なものを選び出す際に活用できる．

今後の展開

コンピュータのための「実世界画像コーパス」を，まず名詞から作成したい

　現在，当研究グループで開発している手法で評価と解析を行い，コンピュータがWebから集めてきた画像について，キーワードと画像との適合率を調べてみた．結果は，「夕暮れ」「山」「滝」といった風景を表わすキーワードの場合であれば，非常に高い適合率が得られている．特に，「夕暮れ」「山」の場合は，それぞれ適合率91.0％，89.0％という好結果が出ている．これは，風景の場合，画像全体で評価でき細かい部分を取り出す必要があまりないので，キーワードと画像の対応をコンピュータが認識しやすいということによるものと思われる．これに対し，風景に溶け込む形の画像が多く見られる「ライオン」や，他の機械との区別が難しい「ノートPC」といったキーワードについては，まだ高い適合率が得られていない．今後はこの問題について，画像認識の手法を応用することによって取り組み，より高い適合率を目指していく予定である．

　更に，まず名詞から「実世界画像コーパス」を作ることに（1000種類の画像1000枚を当面の目標としている），本格的に取り組みたいと考えている．また，「黄色い」「可愛い」「怖い」といった主観的判断を含むキーワードについても，画像収集を行っていきたい．

　こうして，コンピュータがWebから自分で画像情報を獲得できるようになれば，将来的には，一般画像認識の可能なコンピュータの実現に道を拓くことになり，また，個人的な画像データベース作成といった日常的な要請にも役に立つと考えている．

（以上の文章は，共同研究センターOPAL-RING掲載された研究室紹介文で，ライターの方が書かれたものを一部修正して掲載してあります．）

その他の研究テーマ

Web画像マイニング以外のテーマは，例えば以下のようなものがあります．