パネル型クエリ生成インタフェース画像検索システムの改良

1. パネル型クエリ生成インタフェース画像検索システムの改良パネル型クエリ生成インタフェース画像検索システムの改良 木下研究室 200702915番　倉橋大地

2. 研究背景 • 画像検索がネットで普及している • 「類似画像検索」は監視カメラ、医療などにおいて欠かせないシステムである • 欲しい画像のデータをより正確に効率的に検索したい

3. 画像検索の種類 • テキストをクエリとする画像検索Text-Based Image Retrieval（TBIR） • 画像の内容をクエリとする画像検索Content-Based Image Retrieval（CBIR）

4. 従来のCBIRの研究 • 問題点 • 検索するキーとなる画像が手元にないと検索ができない。

5. 従来のCBIRの研究 • 研究自体（CBIRの研究）は1990年前半から研究されている。最新の手法では、色、形状、テクスチャ、特徴点などさまざまな特徴量を用いて類似度を判定する。 • 肉眼では色、形状の2つで物体を判断するのでその2つに着目し、木下研究室では「パネル型クエリ生成インタフェース」を用いた類似画像検索を研究している。

6. 従来の木下研究室の研究 「パネル型クエリ画像検索システム」 パネルに色を塗って目的の画像を検索

7. 問題点 • 問題点１ 　（１）メタデータの計算に時間がかかる。 　（２）従来の研究ではメタデータの種類が少ないため精度が低い。 • 問題点２ 　パネルのユーザビリティ ⇒パネルのマス目の数が少ないため精度が低い

8. 問題点１-（１） • 画像データベースのメタデータ作成を検索ごとに行っているので、検索に時間がかかる。 画像データベース 画像処理 メタデータ 検索 Click! 比較 類似度算出 ※省略 ユーザーによる 所望画像の確認 所望画像の 類似画像群 所望画像の 入手

9. 問題点１-（１） • メタデータをあらかじめ保存することで解消できる。 ユーザはここからスタート 時間の短縮 メタデータ 比較 類似度算出 ユーザーによる 所望画像の確認 所望画像の 類似画像群 所望画像の 入手

10. 問題点１-（２） ・（２）メタデータの種類が少ない 構造解析 ・多数決 ・領域の重心 ・包含関係 領域画像 メタデータ 画像データベース （原画像） クラスタリング （RGB値・HSV値） ヒストグラム

11. パネルが少ないため描写が大雑把になってしまうパネルが少ないため描写が大雑把になってしまう 問題点２ 検索したい画像 ・パネルのマス目の数が少ないため精度が低い 消化器はおろか、指定したところに赤色が入っている画像は一枚もなかった。 図：従来のシステムの検索結果

12. パネルのマス目を増やすことで検索精度が上がるか検証したパネルのマス目を増やすことで検索精度が上がるか検証した

13. 改良インターフェース

14. 細かい描写ができるようになり、消化器のイメージが上位4番目にでてきた。細かい描写ができるようになり、消化器のイメージが上位4番目にでてきた。 改良したシステムでの検索結果 消化器以外にも検索意図（赤色の中に白色が混じっている） を汲み取ることができ検索された画像 ※ただし、パネルの数を増やしたことによって パネルに色をつけるユーザの負担が増える。

15. 提案 ・あらかじめ用意されたキー画像をパネルに読み込めるようにする。

16. 提案 ・さらに、パネル上で追加書き込みできるようにする。 右図は「机の上に乗ったりんご」の画像を検索するために 読み込んだりんごをベースに机を追加した。

17. まとめ ①メタデータ • 検索時間短縮、精度向上のためのメタデータ作成を提案。 ②ユーザビリティ • パネルの数を増やしたことによってユーザの検索意図をうまく汲み取ることができるようになった。 • パネルの数を増やすことによって生じるユーザへの負担の解消を提案。

18. 課題 • 今回提案したメタデータについてどれが有効なのか評価する。 • マス目を増やしたが、ユーザへの負担と検索精度の兼ね合いを考えたときの最適なマス目の数の検証が必要。