1 / 43

第５回

第５回. 両眼立体視と明るさ解析. Marr のパラダイム. 世界座標系表現. 3D 　表現. 観測者中心座標系表現. 2-1/2D 表現. 融合・内そう. 明るさ. 模様. 線画. 両眼. 動き. 3D 特徴抽出 モジュール. 2D 画像. 話題. 1. 基本概念 2. 両眼立体視基本方程式 3. エピポーラ線 4. 照合のための特徴と戦略. 一枚の画像ではあいまい. A. a”. a’. ２箇所の異なった場所からの画像より３次元位置が決定. 両眼立体視. 基線. エピポーラ線. 画像中の１点. 可能性のある視線.

erno
Télécharger la présentation

第５回

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 第５回 両眼立体視と明るさ解析

  2. Marr のパラダイム 世界座標系表現 3D　表現 観測者中心座標系表現 2-1/2D 表現 融合・内そう 明るさ 模様 線画 両眼 動き 3D 特徴抽出 モジュール 2D 画像

  3. 話題 1. 基本概念 2. 両眼立体視基本方程式 3. エピポーラ線 4. 照合のための特徴と戦略

  4. 一枚の画像ではあいまい A a” a’ ２箇所の異なった場所からの画像より３次元位置が決定 両眼立体視

  5. 基線 エピポーラ線 画像中の１点 可能性のある視線 エピポーラ面 エピポーラ拘束 エピポーラ拘束 対応する点はエピポーラ線上に存在

  6. 正規化 エピポーラ線の特性

  7. ステレオ方程式 物理点 左画像点 右画像点 右画像面 左画像面 焦点距離 右画像中心 左画像中心 z 世界座標 基線長

  8. d + x d - x ステレオ方程式 z=-2df/(x”-x’) x”-x’: 視差 2d : 基線長 -z x’ x” f d d z

  9. ステレオの分類 MIT group Marr-Poggio Marr-Poggio-Grimson Nishihara-Poggio Lucas-Kanade Ohta-Kanade Matthie-Kanade Okutomi-Kanade Baker Hannah Moravec Barnard-Thompson CMU group Stanford group

  10. 照合特徴 10 11 12 10 11 12 10 11 12 10 11 12 11 15 16 a. 明るさ b. エッジ c. エッジ間距離 d. インタレスト点

  11. 照合戦略 10 10 10 10 5 10 10 10 10 10 10 10 10 5 10 10 10 10 10 10 10 10 10 10 10 10 10 a. 弛緩法 b. 階層法 c. DP法 global optimam local optimam local optimam

  12. 1. 手法 b c • 2. 問題点 • a. 窓の大きさと解像度 • b. ピークのなまり b c b c 例１：領域ベースステレオ

  13. 領域ベースステレオ ハードウエア 小松製　9眼ステレオ

  14. 窓内明るさ照合 エピポーラ拘束 視差限界 明るい点：　近い、暗い点：遠い 窓処理のため周辺で拡大 視差制限のため背景がノイズ 領域ステレオ処理結果 • 入力画像列 • 出力（距離画像）

  15. 例２：Marr-Poggio ステレオ 人間の両眼立体視機構をシミュレートする (ランダムドットステレオグラム)

  16. 右画像 左画像 パッチ内のドットを平行移動 あいた部分にはドットでうめる 人間が立体視すると動いた部分がせりあがって板が見える ランダムドット立体視

  17. 拘束（その１） • エピポーラ拘束：　 2次元探索ー＞１次元探索

  18. 可 不可 拘束（その２） • 唯一性拘束(Uniqueness Constraint): 画像中の1点は１つだけの距離値を持つ 例：　水面と水中の石

  19. 可 不可 拘束（その３） • 連続性拘束(Continuity constraint)： 　　　隣あった点は同じような距離値を持つ

  20. D E F A B C A B D E F C 視線の関係図 アルゴリズム表現 アルゴリズムの定式化 • エピポーラ拘束：　２D　－＞　１D 各ノードを仮想的な神経細胞と考える 各ノードの興奮状態で面の存在を記述

  21. (E-A) A B C (E-B) prohibit (E-C) 唯一性拘束のアルゴリズム化 • 同一の視線上で1つ以上のノードの興奮を禁止 • 同一視線（水平線と垂直線）にそって興奮細胞が抑制信号を送る

  22. (D-A) (E-B) 同一視差 (F-C) 連続性拘束のアルゴリズム化 • 同一視差での興奮を励起 • 同一視差（斜め線）にそって興奮細胞が興奮信号を送る

  23. 閾値関数 斜めよりの興奮信号 水平・垂直よりの抑制信号 全体の定式化

  24. 10 10 10 10 5 10 10 10 10 10 10 10 10 5 10 10 10 10 10 10 10 10 10 10 10 10 10 照合戦略（弛緩法）

  25. ランダムドット 得られた 距離

  26. 参考文献（両眼立体視） • Marr, D. and Poggio, T., “Cooperative computation of stereo disparity, Science 194, 283-287 • Ohta, U., and Kanade, T. “Stereo by intra and inter-scanline search,” IEEE Trans PAMI-2, No.2, pp. 139-140. • Moravec, H. “Visual mapping by a robot rover,” Proc. IJCAI, pp. 598-600

  27. Marr のパラダイム 世界座標系表現 3D　表現 観測者中心座標系表現 2-1/2D 表現 融合・内そう 明るさ 模様 線画 両眼 動き 3D 特徴抽出 モジュール 2D 画像

  28. 明るさ解析

  29. 表面反射 内部反射 表面反射と内部反射 入射光 物体表面 内部色素 外部 物体内部 表面反射　=　　ハイライト、光源色、偏光、高い方向性 内部反射= 物体色、　非偏光、全ての方向へ プラスティックや塗装面は両方の反射があり 金属面は表面反射のみ

  30. 内部反射のモデル 拡散反射---全ての方向に反射 一般的な近似: 全ての方向に同一の明るさ 完全拡散反射 ランバートのコサイン法則 反射の強さ=係数 * 幾何項 f (i,e,g) = Kb * cos i なぜ cos i ? 入力角が入射エネルギーの密度に影響する 　照度＝エネルギー／面積 　エネルギー　＝　１ 　面積　＝　１／cos i 　照度＝　cos i

  31. q 等照度曲線 0.5 0.8 0.9 p 内部反射モデル • (p,q)　に対して N= (p,q,1) • 光源方向ベクトル S= q p

  32. q p 光源と観測者位置が異なる場合 • Lambertian（均等拡散面） q p Self-shadow line 自分自身の陰になり光が照射されない

  33. 0.8 (p,q,1) 明るさ情報 面の傾き 0.8 q p 明るさ解析問題 内部反射の明るさは，面の傾きにのみ依存する 　⇔　明るさ情報から物体形状（面の傾き）が特定できる 明るさ方程式　E(x,y)=R(p,q) 明るさ方程式は、グラディエント空間に拘束を１つ与えるだけ ＝＞　未知数の方が多い！ 等照度曲線

  34. q p q p 照度差ステレオ • １つの明るさ方程式は1つの拘束 • --- > 複数の方程式を得る！ • 視点を変えずに光源方向のみを変えた画像を複数枚撮る • 光源方向に応じて異なった反射率地図が得られる • 同一地点で複数の明るさ方程式

  35. 照度差ステレオ ３枚以上の画像から，その点の傾きを特定できる

  36. 解析解 • 実世界はもう少し複雑な光源＆反射率地図 • --- > 参照表法

  37. 参照表作り Ikeuchi & Horn 83

  38. 実行時

  39. 参考文献（明るさ解析） • Horn, B.K.P. “Image Intensity Understainding,” Artificial Intelligence, Vol 8, pp201-231, 1977 • Nayar S.K., K. Ikeuchi, and T. Kanade "Surface reflection: physical and geometrical perspectives", IEEE Trans. PAMI, Vol. 13, pp.661-634, 1991. • Horn, B.K.P. & Ikeuchi, K. “The Mechanical Manipulation of Randomly Oriented Bin,” Scientific American, Vol. 251, No.2, pp. 100-111, 1984. • Horn, B.K.P “Obtaining shape from shading information,” in The Psychology of Computer Vision, P.H. Winston (ed.), McGraw-Hill, 1995 • Ikeuchi, K. & B.K.P. Horn, “Numerical shape from shading and occluding boundaries,” Artificial Intelligence, Vol. 17, 1981. • Klinker, G.J., S.A. Shafer & T. Kanade, “The measurement of highlight in color image,” Int. J. Computer Vision, Vol.2, 1988.

  40. まとめ • 両眼立体視 • 両眼立体視基本方程式 • エピポーラ拘束 • 照合の特徴と戦略 • 明るさ解析 • 反射率地図の使用法 • 明るさ方程式 • 照度差ステレオ原理

More Related