1 / 45

第１回　 序論

第１回　 序論 mutty@ics.kagoshima-u.ac.jp. 第１回　 序論. 第１回　 序論 mutty@ics.kagoshima-u.ac.jp. 講義の目的　～　シラバス. 　　人間の視覚情報処理機構，及び， ディジタル画像処理技術について解説し， 画像処理・認識技術を学ぶための土台としての理解を得ることを目的とする． 評価方法 ： レポート試験と出席率（ ミニレポート ） を考慮. 序論 視覚特性 空間周波数特性 立体視（ 1 ） 立体視（ 2 ） 錯視 色知覚. 照明 映像機器 ディジタル画像処理（１） ディジタル画像処理（２）

diep
Télécharger la présentation

第１回　 序論

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 第１回　 序論mutty@ics.kagoshima-u.ac.jp 第１回　 序論

  2. 第１回　 序論mutty@ics.kagoshima-u.ac.jp 講義の目的　～　シラバス 　　人間の視覚情報処理機構，及び，ディジタル画像処理技術について解説し，画像処理・認識技術を学ぶための土台としての理解を得ることを目的とする． 評価方法：レポート試験と出席率（ミニレポート）を考慮

  3. 序論 視覚特性 空間周波数特性 立体視（1） 立体視（2） 錯視 色知覚 照明 映像機器 ディジタル画像処理（１） ディジタル画像処理（２） ディジタル画像処理（３） 研究事例紹介 第１回　 序論mutty@ics.kagoshima-u.ac.jp 講義予定

  4. 第１回　 序論mutty@ics.kagoshima-u.ac.jp 参考書 • 「視覚と記憶の情報処理」　平井有三著1995年, 培風館　（3,500円＋税） ISBN4-563-01386-2

  5. 本の表紙　（現在在庫切れ） 第１回　 序論mutty@ics.kagoshima-u.ac.jp

  6. 第１回　 序論mutty@ics.kagoshima-u.ac.jp 視覚情報処理関連分野

  7. 第１回　 序論mutty@ics.kagoshima-u.ac.jp コンピュータと脳の比較

  8. 第１回　 序論mutty@ics.kagoshima-u.ac.jp 理解の３つのレベル　(D.Marr) Why How

  9. 第１回　 序論mutty@ics.kagoshima-u.ac.jp 空間周波数順応の例 まず左図中央の横長バーを暫く（３０秒）見つづけてから， 右図中央の小さな四角形を見る 空間周波数 知覚？

  10. 渡邊研究室研究内容：３次元・動画像処理・認識技術渡邊研究室研究内容：３次元・動画像処理・認識技術 • 3次元物体認識 • 動画像処理・認識 • 統計的画像パターン認識 • 並列協調分散画像認識　　（親和的情報空間の構築） • 移動ロボット視覚認識 • 福祉応用ビジョンシステム • 画像監視ビジョンシステム・・・ 渡邊研究室： http://www.ics.kagoshima-u.ac.jp/~fics/

  11. 親和的情報空間とはFriendly Ｉｎｆｏｒｍａｔｉｖｅ Ｃｙｂｅｒ Ｓｐａｃｅ（ＦＩＣＳ） 人間（群）とコンピュータ（群）が自然・自在にコミュニケーションできる環境（物理空間，情報空間，認知空間のシームレスな結合） • 身近・手軽・リアルタイム・完全非拘束 • ロバスト（環境変動，照度変化，有限視野，・・） • エージェントベース　～状況に応じた発現（隠身・気付き・気配り） • 学習・進化発展

  12. 関連研究 • Forest of Sensors～ MIT・AI Lab / E.Grimson & INRIA / O.D.Faugeras 複数物体の移動状態追跡による屋外監視 • Smart Room～ MIT Media Lab./ A.Pentland et al. “Perceptual intelligence”を持ったアシスタント（ＡＬＩＶＥ） • ロボティック・ルーム～　東大先端研 / 佐藤（知） インテリジェントな病室の実現 • Human Reader～ ATR・知能映像通信研 / 間瀬 ビジョンベース・マンマシンインタフェースの実現 • 就寝状態自動モニタリングシステム～ 東芝・渡邊ら / 愛媛大・石原ら 夜間無呼吸症の自動監視（福祉用途）の実現結合されたコンピュータ群、

  13. 親和的情報空間のイメージ１（自動ドア） 動画像処理：　計測⇒利便性向上 ドアの傍に所在 人物がドアに向って接近したら開く 移動中の人物を追跡 屋外：　信号機の適応的制御，迷子用道案内，・・

  14. 親和的情報空間のイメージ２（訪問者応接） 訪問者認識・ 　　挨拶 訪問者の作業状態（多忙・暇）に 応じた出現・消滅 訪問者の心理状態に応じた応接 ～　対話， 自律移動ロボット によるサービス

  15. 現在目標：　分散協調視覚認識による 親和的情報空間の構築現在目標：　分散協調視覚認識による 親和的情報空間の構築 物理的空間に配置された複数カメラの動画像入力 ↓ 自律エージェント群による分散並列視覚処理・認識　　　　　　　　　　　　　↓ 人物の挙動，状態のリアルタイム認識 対話型コミュニケーション（CGアニメーション，音声） ～アフォーダンス付加 自律移動ロボットの視覚制御

  16. サッカー映像のシーン自動解析の研究 知能情報工学講座 　　　 山本大樹（指導教官　渡邊睦　教授）

  17. スポーツ映像分野の現状 ●地上デジタル放送の普及 ●多チャンネル化　　　　　　　　　→多放送化は進む ●視聴できる量には限度　　　　　→幅広く視聴を楽しむ事は困難 映像の必要と思う箇所を検索、自動編集する システム開発 ↓ 簡単に、視聴したい映像だけを見る事が可能 スポーツはサッカーを選択

  18. 我々の研究は下の分野に属する スポーツ映像解析従来技術紹介 • スポーツゲーム情報提供に繋がる研究 -＞現在のボール、選手の位置を伝える -＞テレビの隣に机を置き、その机に試合状況を３D表示 • 放送映像の自動要約（ダイジェスト）作成に 　　　　　　　　　　　　　　　　　　　　　　　繋がる研究 -＞特定のシーンの自動編集、録画の機能の発展を目的

  19. サッカーシーン要約解析,従来技術 • シーン検索システムの長時間サッカー中継映像解析島脇 巧,白井良明（大阪大学大学院工学研究科） （特徴）●長時間の試合を全て解析し,ショットのシーンだけを 自動判別●そのショットシーンの中でもセンターカメラ、それ以外の カメラのシーンなのかを自動判別●カメラ姿勢（パン、チルト、ズーム）のキャリブレーションを 自動検出

  20. この研究の問題点 この研究はシステム動作中は全自動判別しかし動作前にあらかじめグラウンド情報を用意する必要がある その事前作業すら必要ない、放送の再生、停止作業 のみで多試合でも自動録画が可能なシステム開発 手間がかかり多忙な人は使ってくれない

  21. 遠景シーン その他シーン ゴールシーン ゴールシーン このシーンのみ録画 （シーンの位置づけが必要） システムの具体的な説明 映像の状態を遠景シーン,ゴールシーン,ノーマルシーンと それぞれ位置づけし、ゴールシーンのみ自動録画するシステム

  22. 遠景シーン定義 （定義） ●芝生が画面全体に広がっている●センターカメラからの撮影のシーン このシーンを「遠景シーン」とする （判定方法概略） 芝生の集まりに着目

  23. ゴールシーン定義 （定義） ●遠景シーンの条件を満たさないシーン ●ゴールポストが映像中にある時 ->シュートをしたりゴール際の白熱したシーンであった 基本的にこのシーンの場合を「ゴールシーン」 （判定方法概略） ゴールポストに着目した ゴールシーン自動検出

  24. ノーマルシーン定義 （定義） 前の２つのシーン以外の全てのシーン (監督や観客が映っているシーン,CM放送など 　　　　ゲームでないシーンが該当) 　　　　　　　　　　　　　　　　　　　　　などが属する （判定方法概略） 階層的に判定した結果、 前の2つの判定を満たさないシーン

  25. 映像中ゴールポストが写っている 芝生が広がっているシーン 定義の映像例 ゴールシーン遠景シーン ●これら以外(監督,観客,CM映像など)は「ノーマルシーン」

  26. 設定領域の明度ヒストグラム の状態によって判定 映像中にゴールポストが存在するかを判定 定義 サッカー映像全シーン 遠景シーン 遠景シーン以外 ノーマルシーン ゴールシーン

  27. 設定領域 設定領域内が全て 芝生ならば右の様な 明度ヒストグラム 画素数の集中 遠景シーンの検出方法 遠景シーン特徴・・・ 芝生がたくさん映っていて 選手が小さく映る

  28. 減少量の最も大きい座標 探索領域の自動補正 エッジ量 垂直座標

  29. 極大点 極大点 明度ヒストグラムの判別 遠景シーンヒストグラム その他シーンヒストグラムの一例 明度をx座標とし、それぞれの極大点のx座標平均 からの分散が左図の場合小さい事に着目

  30. 極大点 極大点 この方法の利点 • 試合中日照変化し、グラフは全体的に左右移動するが 極大点の分散は小さいまま ->日照の変化にも自動対応 従来の試合毎に色相を測る作業がいらない

  31. システムのアルゴリズム サッカー映像全シーン 設定領域の明度ヒストグラム の状態によって判定 遠景シーン 遠景シーン以外 ゴールポスト判定処理 ノーマルシーン ゴールシーン

  32. ゴールポスト判定処理内容 遠景シーン 遠景シーン以外 Cannyフィルタでエッジ映像作成 縦ゴールポストと斜めポストの最点で交点が 一致してるか（ポスト検出） yes 数フレーム連続で上の認識を満たすか yes 画面全体のエッジ総量の閾値制御 no yes ノーマルシーン ゴールシーン

  33. ゴールポスト検出方法 ●Cannyエッジフィルターからの Hough変換による直線抽出（Main） （ゴールポストの検出における手法） ●ゴールポスト近傍の明度ヒストグラム閾値制御 ●画面全体のエッジ総量による閾値制御 ●数フレーム間連続でこれら条件が満たされる場合、 真とするフレーム制御

  34. 直線検出Hough変換の導入理由 ●ゴールポストは縦の強いエッジであるから ●基本的に縦エッジは他にセンターラインのみ

  35. ゴールポスト検出 ２本の直線の交点は最下点のｘｙ座標となる

  36. エッジ総量による閾値制御 選手にズームしているシーンは他のシーンと比べ エッジ総量が明らかに小さい エッジ総量が値t以下の場合、ゴールシーンと判定しない 誤認識の低下を図る

  37. 連続フレーム制御 重要なゴールシーンは撮影する側がカメラを固定して撮影 する為、長いフレーム間縦エッジが存在 mフレーム連続で今までの条件満たした時、真とする 稀に1フレームだけ「ゴールシーン」判定する場合、録画結果に影響を及ぼす

  38. 実験環境 • PC CPU P4-1.7G mem 512Mbyte • カメラ 　　　　SONY Handycam DCR-TRV30 • グラフィック Matrox Millennium G550 • キャプチャー Matrox MeteorⅡ • OS Windows XP Profesional • 開発言語 MicroSoft VisualC++6.0 • DV編集　　　　　Canopus EZDV ProCoder2.0

  39. 実験条件 試合　（World Cup 2002 予選） １試合の映像時間 ４５分間＋ロスタイム 映像数・・５　　　閾値　t=1500,m=3 (試合１スウェーデンvsセネガル前半) (試合２スペインvsアイルランド前半) (試合３日本vsチュニジア前半) (試合４ブラジルvsベルギー前半) (試合５日本vsトルコ前半)

  40. 実験映像（スペインvsアイルランド）

  41. 自動録画結果（セネガルvsスウェーデン）

  42. 実験結果の算出方法 FRR,FARの算出方法を用い実験結果を算出 FRR（False Reject Resio）とは、 照合時,誤って正しいものを違うものと判定して照合が失敗する比率 FAR（False Accept Resio）とは、 照合時,誤って違うものを正しいものと判定して照合してしまう比率 （処理フレーム数=（FPS数）*(試合時間（秒数）)）

  43. 実験結果（表） 処理速度 　　7fps(Frame per second)程度 （47分間の試合の場合、処理フレームは7FPS時,19740フレーム）

  44. 考察 ゴールポストがありゴールポストと認識しなかった実験結果考察 ゴールポストがないのにゴールポストと誤認識した実験結果考察 ●ゴールポスト後方看板の明るさによってはゴールポストのエッジが途切れる試合がある ●選手がゴールポストの正面に立ってた場合認識ができない ●試合会場四隅に縦ポールが存在し、そのポールを誤認識（対応策は施しているが、　　　　　　　完全に無くせていない）

  45. 今後の課題 • 考察における問題点の解決 （アルゴリズム改良による処理速度向上、断線補完技術 を用いてエッジの途切れを無くす） • 歓声情報からの盛り上がり度の解析 （歓声が非常に大きいシーンは,ゴール際でボールが 入るか入らないかなどの興奮するシーンと考察する）

More Related