saguar1

YANAI Lab.

電気通信大学 総合情報学科/大学院 総合情報学専攻 メディア情報学コース 柳井研究室
電気通信大学 > 情報工学科 > コンピュータ学講座 > 柳井研究室 > 研究紹介  

プロ野球番組の打席映像データベースの自動構築

藤森 祥樹


1 はじめに

野球は日本ではポピュラーなスポーツの一つであり、TV中継も行われている。 これを録画し視聴する人も多いが、野球の試合は一試合の時間は少なく ても3時間、多くて4時間以上にも及ぶ。これを見返す時間も長くなるため、得点シー ンだけ、ある選手の打席だけ見るといったことが考えられる。しかしこのシーン を録画の中から探すのも時間がかかる。そこで本研究では、その見たいシーンを簡単に見つ けられるようなデータベースを自動構築することを目指し,プロ野球の番組を録画 し、録画した映像を打席単位で切り分けその打席の結果と映像ともにデータベー スに記録することを目的とする。

2 関連研究

映像とテキストを関連付ける研究としてTapaswiらの研究[1]がある。 この研究ではテレビドラマとそのあらすじを関連付けあらすじを映像検 索に利用している。 シーンの流れの規則性を利用したスポーツ映像(テニス、野球、バレーボール、 サッカー)のプレイ単位の分割の研究は椋木らの研究[2]がある。また 野球映像のプレイ種識別として望月らの研究[3]がある。こちらの研究 もシーンの流れを利用しプレイの識別を行っている。この研究では打席ごとでは なく投球一球ごとのプレイ識別を行っており71.6%の精度が得られていた。本 研究ではWeb情報を利用することで精度を向上する。また野球映像を用い た研究にはGuptaらの研究[4]がある。この研究ではキャプションつきの野球映像 に対して動作認識を行いストーリーラインモデルの構築と学習 を行っている。
Figure 1: 打者が打席に入る際の表示

3 手法概要

本研究の流れは以下のようになる。
  1. プロ野球番組を録画。
  2. 打者が打席に入る際の表示の認識。(図1)
  3. 認識結果を元に打席シーンを切り分け。
  4. Webニュースの情報を元に各打席シーンに対する打席結果を求める。
  5. 求めた結果からデータベースを構築。
  6. データベースのユーザインタフェースの作成。

4 詳細

1 録画

野球番組の録画は放送の生データであるMPEG-2TS形式で保存し録画する。なお野球 番組には字幕データは基本的に付随していない。

2 画像認識

本研究では以下の4つの画像認識を行う。
(1)
打者成績表示の検出
(2)
(1)での認識された成績表示に対する、打者/投手の分類
(3)
イニング終了時検出のためのスコア表示認識
(4)
イニング開始検出のためのカウント情報表示認識

画像の認識の為の特徴量としてHOG(Histogram of Oriented Gradients)を用い る。HOGはよく人物認識に用いられる特徴量で、画像をセル単位(本研究では8×8ピク セル)に分割しセルからブロック(本研究では2×2セル)を構成しブロックを移動させつつ 輝度の勾配強度をヒストグラム化してブロックごとのヒストグラムをつなぎ合わ せ特徴ベクトルとする。本研究ではテレビ録画の画像を480×270ピクセル に縮小し、HOGを抽出する領域は画像の下から104ピクセルまでとした。領域内か ら708ブロックが得られHOGの次元数は25488次元となる。

認識にはSVM(Support vector machine)を用いる。SVMとは主に2クラス分類に 用いられる認識手法の一つで各データとの距離が最大となるような2クラスを分 離する超平面を求める認識性能の高い手法である。

3 打席の切り分け

録画データから1秒ごとに1フレーム画像を取りだしHOGを抽出して打者成績表示、 スコア表示、カウント情報表示をSVMで認識する。480×270ピクセルの画像での 打者成績の認識では誤認識としてよく似た投手の成績表示が含まれている。こ のため認識されたフレームから今度は画像を1440×810ピクセルとして取りだし、 成績が表示がされている部分800×200ピクセルからHOGを抽出し、再度正解画像 を打者成績表示、非正解画像を投手成績表示として学習したSVMで認識を行い投 手の成績表示を排除した。

イニングの終了時間をイニング終了時のスコア表示の現れた時間、イニングの開 始はイニング間のCMの終わりとし、試合プレイ中に常に表示されているカウン ト情報の表示がイニングの終わりから一定時間内で現れた時間をイニングの開始 時間とした。

打者成績の表示時間を各打席の開始時間とし、これにより得られた各イニング中 の打席数とWEBテキストから得られた各イニングの打席数を比べ少ない場合は最 も打席時間の長い打席を分割し、多い場合は最も打席時間の短い打席をその 前の打席と同じ打席とした。

4 Web情報

Web情報としてスポーツニュースのページからスコア表を利用する。これは日刊 スポーツのプロ野球スコア情報ページ1より入手する。 スコアはHTMLのTABLEタグを用いて記述されているのでこれを解析し打席情報を 取得する。 またWebインターフェースの打席情報の記述にはサンスポのプロ野球イニ ング速報のページ2の記述を用いた。

5 データベース

データベースには各試合の打席の情報とそれに対応する打席シーンの録画データ中の時間情報を記録する。 ある試合の全打席やヒットシーンなどを検索し簡単にそのシーンを見られるようにする。

6 ユーザインタフェース

ユーザインタフェースにはWebインタフェースを作りWebブラウザから簡単に利 用できるようにした。HTML5のVIDEOタグで動画を表示しJavaScriptを用いて 動画の操作を行った。動画の下にイニングごとの打者と打席結果を表示しその 横のボタンをクリックするとその打者の打席映像に飛べるようにした。

5 実験

実験として打者成績表示の認識と打席の切り分けの精度の評価を行った。

1 実験データ

実験データには6月18日の巨人対オリックス戦、8月12日、13日の巨人対阪神、 8月22日、24日の巨人対中日戦、9月19日の巨人対ヤクルト戦を用いた、いずれ も2014年の試合、放送局はBS日テレである。

学習データには6月18日、8月12日の録画データを用いた。打者成績表示スコア表 示、カウント情報表示いずれの学習データも録画データの中から正解画像100枚、非正解画像100枚を選び学習データとした。

テストデータには残りの試合の録画データをを用いた。8月13日の以外の試合は 野球中継の延長がなかった為、録画できた回までの評価となる。

2 実験結果

8月13日の試合で打者成績表示の検出を行った結果を以下の表1に示す。試合開始から1000秒分の画像のうち94枚が正解画像、906枚が非正解画像として認識された。このうち誤って正解とされた画像が29枚で適合率が69.15%,誤って非正解とされ た画像は0枚で再現率は100%となった。
Table 1: 打者成績表示の検出結果の表
  正答 認識結果
正解画像 65 94 正解認識 65  
      誤認識 29 1000
非正解画像 935 906 正解認識 906  
      誤認識 0  

次に試合開始から3000秒分のうち打者成績表示として検出された256枚の画像につい てHOGを抽出する画像の解像度を1440×810に上げ場合の打者/投手成績表示分類を行っ た結果、打者成績表示、投手成績表示ともに100%の精度で分類できた。

イニングの終了検出については100%の精度で認識できた。 イニングの開始検出はCMの終わりからずれている場合もあったがイニング中にずれる ことはなかった為打席の切り分けには影響はないと考えられる。

提案手法での打席の切り分けを行った結果を以下の表2に示す。 全体で73.3%の精度が得られ,打席数の多い日では精度が低くなっている。

Table 2: 打席切り分け結果の表
試合日 8/13 8/14 8/22 8/24 9/19 平均
打席数 65 56 62 76 75 334  
正解数 49 47 48 51 50 245  
精度 77.8 83.9 77.4 67.1 66.7 73.4 74.1

3 考察

打者成績表示の認識については実験結果から誤認識なく 認識できると考えられ る。打席数が多い回では表示されている打者成績の数も多くなるため、正解を 出すのが難しくなっていると考えられる。早い打順で誤認識が起きるとその後 の打席もずれてしまうことも間違った結果が多くなる原因と考えられる。また 間違った認識がされる原因の多くに打者が初球打ちをしてしまい早く打席が終 わり成績表示がされなかったことが挙げられる。

6 終わりに

打席の切り分けについては約7割程度の精度が得られたが実用にはさらな る精度の改善が必要である。そのための方法として各打席での投球数の情報も WEBテキストから得て、その情報を元に各打席の長さを予測し打席の切り分けの 際に考慮に入れる方法が考えられる。

また今回の実験では一つの放送局の番組しか扱っていない。野球番組の成績の表示の 形式は放送局によって異なるため、他の放送局の番組での学習が必要である。

Bibliography

1
M. Tapaswi, M. Baeuml, and R. Stiefelhagen.
Story-based video retrieval in tv series using plot synposes.
In Proc. of ACM International Conference on Multimedia Retrieval, 2014.

2
椋木雅之, 寺尾元宏, 池田克夫.
カット構成の規則性を利用したスポーツ映像のプレイ単位への分割.
電子情報通信学会論文誌 D-II, Vol. 85-DII, No. 6, pp. 1016-1024, 2002.

3
望月貴裕, 藤井真人, 篠田浩一, 酒井善則.
シンボル列化したシーンの学習と2種のプレイ種相関度による野球放送映像プレイ種識別.
電子情報通信学会論文誌 D, Vol. 93-D, No. 6, pp. 1009-1023, 2010.

4
A. Gupta, P. Srinivasan, J. Shi, and L. S. Davis.
Understanding videos, constructing plots learning a visually grounded storyline model from annotated videos.
In Proc. of IEEE Computer Vision and Pattern Recognition, pp. 2012-2019, 2009.


Footnotes

... スポーツのプロ野球スコア情報ページ1
http://www.nikkansports.com/baseball/professional/score/pf-score.html
... ング速報のページ2
http://www.sanspo.com/baseball/ikkyu/detail.html