マルチメディア・コンテンツの内容記述と検索

マルチメディア・コンテンツの 内容記述と検索田中克己京都大学大学院情報学研究科社会情報学専攻 ktanaka@i.kyoto-u.ac.jp

マルチメディア・コンテンツの内容記述と検索マルチメディア・コンテンツの内容記述と検索情報のパーソナライゼーション情報の組織化・構造化によるメタデータ生成情報流通情報組織化情報の配送と提示連続メディアデータと半構造データコンテンツの権利処理とアクセス管理協調アノテーションインタラクションによる検索コンテンツの内容記述と検索のモデル情報検索情報の検索と探査

映像コンテンツのメタデータと内容記述 メタデータの種類映像信号やカメラから抽出できるメタデータ音声・画像認識から抽出できるメタデータ • NHKクローズドキャプション(15秒delay，音声認識) 手動で制作されているメタデータ • EPG(電子番組表)，番組インデックス(ARIB)，データ放送(BML，BXML) • 権利情報関連するWebコンテンツ

メタデータ（内容記述）の表現モデル 標準化 MPEG7 • 内容記述のための記述子，記述スキーマ，記述定義言語等 MPEG21 • 著作権情報，コンテンツID 記述モデル構造化法(セグメンテーション法) • Informedia(金出) 層状化法 • OVID(田中)：内容記述情報の継承 • Algebraic Video(Weiss)：入れ子型層状化

内容記述（索引付与）の困難さ • 音声・画像認識から抽出できるメタデータ • ビデオ区間の特定の困難さ • 索引の断片性，該当区間が不明，推定の必要性 • 情報の重複や誤り • 画像と音声の相補的な関係 • 検索用語とのギャップ • 手動で制作されるメタデータ • コストと帯域（データ放送） • 関連するWebコンテンツ • 映像コンテンツとの関連性の発見 ScoopCast ・ライブ映像の動的編集配信システム・音声内容記述・映像索引・映像のマルチキャスト配信・キーワードによる映像フィルタリング・有限オートマトンによる区間推定

内容記述（索引付与）の困難さ 情報の欠落や重複ラジオとTV 映像と音声の相補性投げた「ピッチャー野村が投げた」ピッチャー野村索引（キーワード）の断片性と該当区間の不明

Query By Cameraカメラ情報からのメタデータ生成と検索注目被写体範囲のアニメーション検索結果問合せ映像問合せ形成画面検索結果画面

映像コンテンツの検索モデル 連続メディアデータのための代数的検索 • 断片的で素なインデックスを有するビデオデータに対する検索操作の理論的基盤 • 代数的な検索操作と質問処理最適化

断片的で疎な索引からの映像検索 woman dog dog woman dog 断絶のある映像意味のある一連の映像 woman dog park dog woman park dog ビデオストリーム park woman dog park dog woman park dog 「女性」と「犬」による検索画像フレームまたはショット単位で付加されたキーワード群キーワード検索によって意味のある映像を得る

グルー結合演算 区間グルー区間x,yを含む最少区間区間集合への拡張 Pairwise Glue Powerset Glue x y xy x1, x2} X={ y1, y2} Y={ x2y1 x1y2 x1y1 x2y2 X *Y x1 x2y1 x2 y1y2 x y X Y X Y ３つのpairwise gluesに還元可能 X＊Y = (XX) (YY) X * Y

選択演算 (Filters) 区間長選択演算σF(I) • σF(I) :区間集合I から，条件(フィルタ）F を満たす区間集合を選択フィルタ • σkey=‘woman’(I) ：キーワード‘woman’が付いた区間を検索 • σwidth≦1000(I)：区間長が1000以下のものを検索 woman dog 区間長フィルタFW ：区間長がw以下のものを検索区間長フィルタ FWは選択・グルー質問で push down 可 σFw(X ＊Y)=σFw(σFw(X X) σFw(Y Y)) 選択・グルー質問の最適化の可能性

最適化可能フィルタ グルー質問結果への選択演算の適用 • σF(X ＊Y)=σF((X X) (Y Y)) 最適化可能であるための必要十分条件 • σF(X ＊Y)=σF(σF(X X) σF(Y Y)) F(i)= trueとなる任意の区間 i に対して，i のすべての部分区間i’がF(i’)= true を満たす． 30 60 フィルタ F 区間 i OK 40 50 OK 部分区間 i’ 関係データベースにおける質問の最適化処理とのアナロジー

有用な最適化可能フィルタ woman dog NG woman dog dog OK noise < N noise < N noise> N NG dog woman woman dog OK ノイズ長フィルタ含まれるノイズの最大長が N 未満の区間を返す Video stream 区間論理フィルタ Allen の区間論理にもとづくフィルタ Video stream 時間的な関係 Woman appears before dog

最適化可能フィルタのpush downの効果

コンテンツの権利処理とアクセス管理 • 目的マルチメディアコンテンツの安全な流通とコンテンツ個別化のための機構の実現研究概要カプセル化コンテンツとLoS制御 • 版権管理機能と適切な課金処理機能の実現 • ActiveWeb 作者の意図と利用者アクセス履歴に基づくコンテンツ個別化コンテンツ複合化のための意図記述 • 異なるメディアのコンテンツの融合のための作者の意図記述

Javaを用いたカプセル化コンテンツ 不正ユーザに対する保護機能 • Javaのクラス内部に画像データをカプセル化 • ユーザ認証機能・表示変更機能により，ユーザ毎のサービスの変更が可能認証されたカプセル化コンテンツ認証されていないカプセル化コンテンツ認証サーバへの認証要求

サービスレンジに基づくLoS制御 • 同価値のサービスとなるサービスの領域に課金 • 動的にサービスの配分を変更し、必要なサービスに価値を集中制御前サービスレベルを低下サービスレベルを向上制御後

作者の意図と利用者アクセス履歴に基づくコンテンツ個別化作者の意図と利用者アクセス履歴に基づくコンテンツ個別化 • 利用者の閲覧・視聴履歴と位置・時間によってコンテンツの内容を動的に変化させる． • 簡単なルール表現で作成者が設定可能とする．技術的には，アクティブDB技術を発展的に適用

ActiveWeb • 著者の意図と利用者のアクセス履歴・状況による内容のパーソナライゼーション ActiveWeb サーバ能動ルール DB 著者による意図表現入力 XMLルール生成ルールの検索アクセス履歴DB 能動ルールの収集・評価ユーザアクセス動的なコンテンツ生成個別化・複合化されたコンテンツ

JSPS - RFTF AMCP Project コンテンツの個別化/適応化

JSPS - RFTF AMCP Project コンテンツの個別化/適応化デジタルTVやモバイル機器での受動的視聴

コンテンツの複合化に関する意図記述 著作権に加えて，コンテンツの複合化・同期化・個別化・配信環境に関するコンテンツ作者の意図記述 • 能動型ルールによる意図記述 • XML表現によってコンテンツと一体化 • コンテンツの動的生成時に能動型ルールを処理ルール例複合化に関する意図記述例 • 「この画像の提示中に必ずこのテキストを読み上げる」 • 「このキーワードを有する映像を配信する際は最初にこのCMを流す」 • 「この画像を提示する場合は同種類の画像を提示しない」配信環境に関するルール例 • 「この映像を短縮して配信する場合，指定の箇所は必ず配信する」利用者のアクセス履歴に関するルール例 • 「ここ2週間頻繁にアクセスしているユーザには配信コンテンツを追加する」

小泉純一郎は日本の総理大臣で自民党・・ 午前中からこうして大勢のみなさまが・・・・・コンテンツ複合化に関わる作者の意図記述小泉純一郎です。・・・・・元のコンテンツに別のコンテンツを挿入

新しい放送型情報環境放送＋インターネット＋データベース新しい放送型情報環境放送＋インターネット＋データベース関連情報の検索放送コンテンツの再構造化放送映像・音声・メタデータ Web • 関連情報のWebからの発見，映像インデックス自動生成 • 生成コンテンツの受動的視聴環境 • 蓄積型テレビ機能を用いたパーソナルな番組コンテンツ生成放送・Webコンテンツの融合によるコンテンツ作成 • 新鮮度・ローカル度などの新しい尺度による検索 • サーバ型放送のための理論的基盤新しい情報放送環境に向けて

マルチメディア・コンテンツの 内容記述と検索