単眼カメラとモーションキャプチャデータによる両腕の姿勢推定

単眼カメラとモーションキャプチャデータによる両腕の姿勢推定単眼カメラとモーションキャプチャデータによる両腕の姿勢推定平尾公男†, 中澤篤志†‡, 清川清†‡, 竹村治雄†‡ †大阪大学大学院情報科学研究科 ‡大阪大学サイバーメディアセンター

背景 • 人間の動作解析技術が幅広い分野で利用されている • ユーザインタフェース • ゲーム, 仮想環境, リモート制御など • スポーツ, 福祉, 医療 • 臨床研究, 整形外科患者の診断, 運動選手の理解支援など • セキュリティ • コンピュータアニメーション

関連研究 • 全身のモーションキャプチャ • Shall We Dance ? Ebiharaら, 1998 • 3台のカメラを使用 • 上半身のモーションキャプチャ • D’Apuzzoら，2003 • マーカレス • 3台のカメラを使用 • オプティカルフローの推定に時間がかかる

目的とアプローチ • 関節角度を求める　　少ないデータ量 • アピアランスベース手法　　モーションキャプチャデータを用いた　　初期関節角度の探索 • 山登り法　　初期関節角度の推定確度の向上 • 1台のカメラによるリアルタイムな両腕の姿勢推定 • 遠隔地コミュニケーションにおける通信コストの削減 • マーカレス

処理の概要 事前処理カメラパラメータ姿勢データマッチング処理 CGモデル画像の生成ユーザの体のサイズ右腕のマッチング左腕のマッチング画像入力処理画像入力ラベリング腕の抽出画像合成

画像入力・領域抽出 手順 1. 画像を入力 2. 背景画像との差分処理と明るさ閾値による2値化 3. 5ピクセル膨張 4. 細線化 5. 10ピクセル膨張右腕 6. ラベリング面積の最も大きい3領域の重心比較左腕 7. 腕の抽出

事前処理 • 関節角度の取得 • 市販の光学式モーションキャプチャによる姿勢データから導出 • 多関節CGモデルの生成 • 体の大きさをユーザと同サイズに統制 • 肩の自由度 : 3 (x 2), 肘の自由度 : 1 (x 2) • 基準立方体によるカメラキャリブレーション • 多関節CGモデルの各腕画像を生成 • 右：4796, 左:4796, 計9592枚 • 細線化, 10ピクセル膨張

マッチング処理 1 B A • マッチング対象となるCGモデル画像を選択 • 比較する腕領域のバウンディングボックスについて適切な閾値を設定し絞込む重なり合う面積アスペクト比の差横(縦)の長さの差中心位置の差

マッチング処理 2 • マッチングの評価式 • バウンディングボックス内のピクセルに対し m (x, y): CGモデル画像 p (x, y): 入力画像腕領域の画素値 : 1以上背景領域の画素値 : 0 骨格部が一致するほど小さい評価値を得る

実験結果 1(1) カメラ実験風景動作例フレームレート: 10 frames/sec

実験結果 1(2) • 事前のモーションキャプチャデータに存在しない関節角度を推定する必要がある

関節角度の初期推定 片腕微小変化画像の生成細線化と膨張処理入力画像の腕の抽出右腕のマッチング左腕のマッチング関節角度の更新最大5回繰り返す関節角度の推定関節角度の改善 1

関節角度の改善 2 • 片腕の微小変化画像の生成 • 各関節を表す四元数のパラメータを微小に変化 • 一度に変化させる関節を一箇所にする • 生成枚数：8枚 • マッチングの評価式を適用 • 変化させていない関節について以上の処理を繰り返す • 以上の処理を最大5回繰り返す

実験結果 2(1) • 関節角度の改善例入力画像初期結果改善結果フレームレート: 2 frames/sec

実験結果 2(2) 入力画像初期結果改善結果

まとめと今後の課題 • まとめ • 多関節CGモデル画像と人物画像のマッチングによる両腕の姿勢推定手法の提案, 実験結果の提示 • あらかじめ姿勢データを準備しておくことによる計算コストの減少, リアルタイム処理の実現 • 山登り法による精度の向上 • 今後の課題 • 顔や腕の領域重畳時のラベリング • より精度の高いマッチング • 奥行き情報の利用, 肘の三次元位置を推定 • 腰や頭部も考慮した, 上半身の姿勢推定

付録　実験結果 誤り例 1 　領域の分断誤り例 2 　領域の重畳

閾値による画像枚数の絞込み結果 • 30枚～900枚

多関節CGモデル画像の生成時間 • 4796枚生成に57'50“ • Pentium3 Mobile 866MHz • 260,012KB RAM

単眼カメラとモーション キャプチャデータによる 両腕の姿勢推定