仮想空間内でのナビゲーションと文字入力をシームレスに行う入力手法の提案と試作

1. 仮想空間内でのナビゲーションと文字入力をシームレスに行う入力手法の提案と試作仮想空間内でのナビゲーションと文字入力をシームレスに行う入力手法の提案と試作 基礎工学部 情報科学科 竹村研究室所属 　　　　　　　　　　林　　豊

2. ナビゲーション、物体操作などの3次元操作に加え、注釈付加、プログラミングなどの文字入力操作も重要ナビゲーション、物体操作などの3次元操作に加え、注釈付加、プログラミングなどの文字入力操作も重要 フライトシミュレータhttp://www.nps.navy.mil/cs/sullivan/ おうぎhttp://open.nime.ac.jp/software/ougi/ 研究背景 • 没入型仮想現実を用いたアプリケーション • フライトシミュレータ • おうぎ[NIME]: 没入型オブジェクト指向プログラミングシステム　

3. 没入型VR環境における　　　　　　　　　　従来の入力インタフェース没入型VR環境における　　　　　　　　　　従来の入力インタフェース • Twiddler: 文字入力 • Wand: 3次元操作 デバイス１つで両方の操作が行えない • Pinch Keyboard • Pinch Gloveと３次元トラッカ装置を利用 • 触覚フィードバックなし • 入力速度は遅い Twiddler http://www.handykey.com/ Wand http://www.intersense.com/ Pinch Keyboard http://research.cs.vt.edu/3di/

4. 目的 • 3次元操作と文字入力を１つのデバイスでシームレスに実現する入力インタフェースの開発 • 携帯可能で操作しやすいデバイス • 覚えやすい文字入力手法 • 直感的なナビゲーション操作

5. ホイールボタン PICマイコン ＰＣ側での処理 • デバイスからの信号を受信し解析 • ナビゲーション、物体選択、文字入力の各処理を行う • HMDを装着したユーザに立体映像を提示 シリアル通信用IC プッシュボタン HMD （Canon Video See-through HMD） • プッシュボタン：8個 • ホイールボタン：2個 • 各指に1つのボタンを割当てる • ボタンからの入力信号を1バイトのデータに変換 • シリアル通信でPCに送信 左右のディスプレイに少しずつ違った映像を表示することで立体感を表現 試作システムの構成

6. ボタンと指の対応 右手 て ば ぱ 左手 文字入力 • 入力例 • 【候補が1つのとき】 • ‘て’の入力 • 行の選択 • 段の選択 • 【候補が2つのとき】 • ‘ぱ’の入力 • 行の選択 • 段の選択（繰り返し） • Enter • ポケベルのかな変換表を参考に作成 スクロールボタン

7. 文字入力の様子 HMDに提示される映像 デバイス操作の様子

8. ナビゲーション 物体選択 注釈付加 仮想物体への注釈付加 HMDに提示される映像 デバイス操作の様子

9. 実験１：文字入力 • 被験者8人 • 下記の課題文を各3回入力 • 入力速度と誤り打鍵率を計測

10. 30 45 40 25 35 携帯電話(いろは文)： 22.38 20 30 25 15 20 10 15 10 5 5 0 0 1回目 2回目 3回目 1回目 2回目 3回目 実験回数 Twiddler： 21.13[cpm] 実験回数 実験回数を重ねるごとに習熟度は大きく向上 変換操作が入ると誤入力の回数も増えている 実験１の結果 文字入力速度［文字数/分］ 誤り打鍵率[％] いろは文 逆いろは文 漢字いろは文

11. 5 4 3 2 1 実験２：３次元操作と注釈付加 • 被験者8人 • 10分間の操作の後、アンケートによる主観評価 高く評価された点 • 各モードの操作性 • かな入力方式 改善が必要な点 • 終了コードの入力 • Enter・BSのホイール操作 • ボタンの配置 持ちやすさ 総合評価 ナビゲーション操作 モード切り替え操作 物体選択操作 文字入力操作

12. まとめ • 仮想空間内で３次元操作と文字入力をシームレスに行うシステムの提案と試作 • 1つのデバイスでナビゲーション・物体選択と文字入力をサポート • スムーズなナビゲーション操作 • 携帯電話と同程度の文字入力速度 • 今後の課題 • 形状・ボタン位置などの改善 • 物体操作機能の実装 • 異なる文字入力手法と比較実験 • 英数字の入力手法の考案と実装

14. ポケベル方式との相違点 コード80で モードの切り替え

15. 実験1.入力課題文

16. 実験準備 • 被験者に試作システムに慣れるために各実験の前に以下のタスクを実施する • （実験1）指定された１０語程度の文章を5つ入力 • （実験2）5分間、ナビゲーション、物体選択、文字注釈の入力の３つの操作 • 選択対象物や入力する注釈は指定しない

17. 実験結果1（グラフ総覧） 「 いろは 」 文 逆 「 いろは 」 文 漢字 「 いろは 」 文 7 6 9 8 6 5 7 ） ） ） 5 浦谷 さん 浦谷 さん 浦谷 さん 分 分 分 4 6 （ （ （ 町田先生 町田先生 町田先生 4 時間 時間 時間 5 高田 さん 高田 さん 高田 さん 3 / / ／ 清川先生 清川先生 清川先生 4 3 林 林 文字数 文字数 林 文字数 2 3 平均 平均 2 平均 2 1 1 1 0 0 0 1 回目 2 回目 3 回目 1 回目 2 回目 3 回目 1 回目 2 回目 3 回目 実験回数 実験回数 実験回数 入力速度による習熟度の比較 余剰打鍵率による習熟度の比較

18. ナビゲーションモード HMDに提示される映像 デバイス操作の様子

19. 物体選択モード HMDに提示される映像 デバイス操作の様子

20. 研究背景 • 仮想現実（VR）を用いたアプリケーション • デスクトップVR • 部屋の家具レイアウトのシミュレーション • 没入型VR • 空港の建設シミュレーション • 没入型オブジェクト指向プログラミングシステム「おうぎ」 • ナビゲーション、物体操作 • 文字入力操作：属性変更、プログラミング、注釈付加 レイアウトシミュレータRoomNavi（松下電工） 没入型VRでのプログラミングシステム「おうぎ」（大澤らの研究）

21. Wand 没入型VR環境で用いられる　　　　　　　　　　従来のインタフェース　 • 没入型VR • Twildder • Wand • 3次元操作、文字入力の どちらかに特化したものが多い • 1つのデバイスで両方の操作を 行うことが望ましい • PinchGloveを用いたバーチャルキーボード • 触覚フィードバックがない • 入力速度は遅い Twiddler バーチャルキーボード

22. PC側の処理 • データ取得部でデバイスからの信号を受け解析 • デバイスの入力データによりナビゲーション、物体選択、文字入力の各操作を行う • HMDを装着したユーザに立体映像を提示 • 入力ボタンの信号を解析 • シリアル通信でPCに送信 HMD （Canon Video See-through HMD） 試作システムの構成 • 10個のプッシュブタン • 両手親指にはホイールボタン • 1指に1つのボタンが対応

23. 180 160 140 120 携帯電話 100 試作システム 80 60 40 20 0 逆いろは文 漢字を含む いろは文 いろは文 実験１の考察 • 携帯電話（マルチタップ方式）の入力時間と比較[他研究より] • 被験者102人（大学生） • 各自が所持している携帯電話を用いた 平均入力時間[秒] • いろは文では試作システムのほうが速い • 携帯電話のほうが習熟度は高い

24. 文字入力：かな変換表 <2回目：Ａ・Ｉ・Ｕ・Ｅ・Ｏ段の選択> <1回目: ‘あ’ ー‘わ’行の選択> • ポケベルの入力方式を参考にかな変換表を作成 • 【候補が1つのとき】 • ‘て’の入力 • 行の選択 • 段の選択 • →１文字決定 • 【候補が2つのとき】 • ‘ぱ’の入力 • 行の選択 • 段の選択（繰り返し） • Enter • 　　→ １文字決定 スクロールボタンの機能