画像情報特論 (12)

1. 画像情報特論 (12) - インターネット放送の実際 (1) • インターネット放送全般 • マルチキャスト放送 2001.07.03 電子情報通信学科 甲藤二郎 E-Mail: katto@katto.comm.waseda.ac.jp

2. インターネット放送全般 • システム構成 • ストリーミング手順 • メタファイル • ファイルフォーマット • RTSP (ストリーミング制御プロトコル)

3. システム構成 (1) • 最もシンプルな構成 キャプチャ ＆ 圧縮 ＆ ストリーミング インターネット • 標準的な構成 インターネット放送局 キャプチャ ＆ 圧縮 ストリーミング & WWW ＆ ファイアウォール インターネット

4. システム構成 (2) • 大規模対応の本格的なインターネット放送局 インターネット放送局 キャプチャ ＆ 圧縮 WWWサーバ ファイアウォール インターネット ストリーム サーバ

5. インターネット システム構成 (3) • よくある使い方 HTTP クリック ストリーミング WWWページ ストリーミングビューア

6. ストリーミング手順 (1) • HTTP ストリーミングと専用プロトコルを用いたストリーミング HTTPストリーミング 専用プロトコルを用いたストリーミング (RTSP, MMS 等) 方式 HTTPサーバがすべて担当する方式 ストリーミング専用のサーバを用意する方式 長所 手間がかからない (通常のHTTPサーバを 用意するだけ) ファイアウォールを超えられる (HTTPポー トは外部に開かれている場合が多い) ストリーミングに適したふくそう制御が実行 可能 (SureStream、インテリジェントストリ ーミング、など) ライブ放送、マルチキャストに適している 短所 ストリーミングに適したふくそう制御が実行 困難 (TCPのふくそう制御に依存) ライブ放送に適さない ファイアウォールを越えられない場合がある 条件 インテリジェントなビューア インテリジェントなサーバ

7. ① ファイル要求 ② メタファイル ③ ビューアの起動 ④ ファイル要求 ビューア ⑤ ストリーミング ストリーミング手順 (2) • HTTP ストリーミング サーバ クライアント HTTP WWW サーバ Web ブラウザ メタファイル ストリーム ファイル すべてHTTPポート上のデータ転送 ダウンロードをストリーミングに見せかけている

8. ① ファイル要求 ② メタファイル ③ ビューアの起動 ④ 制御 ビューア ⑤ ストリーミング ストリーミング手順 (3) • 専用プロトコルを用いたストリーミング サーバ クライアント HTTP WWW サーバ Web ブラウザ メタファイル ストリーム サーバ ライブ入力 ストリーム ファイル 制御： RTSP / MMS メディア： UDP、TCP、IP Multicast、... HTTP、制御プロトコル、メディアポート上のデータ転送

9. GET sample.ram HTTP 200 OK Content-Type: audio/x-pn-realaudio ... RealPlayer *.ram MIME タイプ MIME タイプ sample.ram rtsp://rtsp_server/sample.rm ストリーミング ビューア メタファイル (1) • WWW ブラウザからストリーミングビューアを起動する仕掛け HTTPサーバ HTTPクライアント MIME タイプ MIME タイプ メタファイル ①②の手順の詳細 ... MIME: Multipurpose Internet Mail Extensions encoding

10. rtsp://rtsp_server/sample.smi メタファイル rtsp://rtsp_server/sample.rm プレゼンテーション記述 メタファイル (2) • メタファイルとプレゼンテーション記述 (1) クライアント 分離する場合 ... ① ファイル要求 Web ブラウザ ② メタファイル ③ ビューアの起動 ④ ファイル要求 ストリーミング ビューア ⑤ プレゼンテーション記述 ⑥ ストリーム要求 ストリーム ファイル ⑦ ストリーミング

11. rtsp://rtsp_server/sample.rm プレゼンテーション記述 メタファイル (3) • メタファイルとプレゼンテーション記述 (2) クライアント 結合する場合 ... ① ファイル要求 Web ブラウザ ② プレゼンテーション記述 (兼メタファイル) ③ ビューアの起動 ④ ストリーム要求 ストリーミング ビューア ストリーム ファイル ⑤ ストリーミング MIMEタイプが正しく定義されていれば、どちらの方法を用いてもよい

12. メタファイル (4) • ストリーミング関連の MIME タイプとメタファイル 名称 MIMEタイプ ファイル拡張子 RealSystem audio/vnd.rn-realmedia rm application/smil smi smil audio/x-pn-realaudio ram audio/x-pn/realaudio-plugin rpm Windows Media Technologies video/x-ms-wmv wmv audio/x-ms-wma wma video/x-ms-asf asf asx メタファイル Apple QuickTime video/quicktime mov qt

13. ファイルフォーマット (1) • ストリームファイルの中のデータ構造 (制御データ + 圧縮データ) 一種の多重化フォーマット ファイル属性 ストリーム 属性 その他の 属性 圧縮データ ファイル属性： ファイルサイズ、ビットレート、ストリーム数、など ストリーム属性： ストリームの種類、圧縮アルゴリズム、ビットレート、など その他の属性： 各ストリームの開始位置、ランダムアクセス位置、など 圧縮データ： オーディオ、ビデオほか、各種メディアの圧縮ストリーム 2 1 2 n 1 n ＊ スケーラブルなストリームも一つのファイルに多重化

14. ファイルフォーマット (2) • ファイルフォーマットの使用方法 HTTP ストリーミング： サーバ クライアント そのままTCP転送 ストリーム ファイル ファイルフォーマット の中身は考慮しない 圧縮ストリーム中の 同期ワード探索による ストリーミング再生 専用プロトコルを用いたストリーミング： サーバ クライアント RTPパケット化 ストリーム ファイル 「ストリーム属性」を 考慮したパケット化 RTPに従った ストリーミング再生

15. ファイルフォーマット (3) • ファイルフォーマットの具体例 名称 ファイルフォーマット 仕様 RealSystem rm 非公開 (以前は公開) Media Technologies wmv, wma, asf 非公開 (以前は公開) QuickTime mov, qt 公開 (MPEG4) *.rm: RealMedia File Format *.asf: Advanced Streaming Format *.mp3, *.mpg 等も一種のファイルフォーマット

16. RTSP (1) ストリーミング制御 ＊ Realtime Streaming Protocol ・ ストリーミング専用の制御プロトコル メソッド 目的 DESCRIBE メディア情報、プレゼンテーション記述の取得 SETUP セッションの初期化 PLAY メディアの転送開始、再開 PAUSE メディアの転送中断 TEARDOWN セッションの終了 ANNOUNCE メディア情報、プレゼンテーション記述の更新 OPTIONS オプションの設定 RECORD メディアの記録 RFC 2326

17. RTSP (2) セッション制御 サーバ クライアント GET HTTP プレゼンテーション記述 (SMIL等) DESCRIBE IPアドレス/ポート トランスポートプロトコル 符号化アルゴリズム 使用帯域、など SDP メディア情報 (SDP) SETUP RTSP OK (送信準備完了) PLAY OK (送信開始) ストリーミング RTP

18. VCRコマンド： 開始、停止、再開 早送り、早戻し スキップ、など RTSP (3) VCR コマンド サーバ クライアント ストリーミング PAUSE VCRコマンド (停止) OK (ストリーミングの停止) PLAY VCRコマンド (再開) OK (ストリーミングの再開) ストリーミング TEARDOWN OK (セッションの終了)

19. RTSP (4) 状態遷移 Init TEARDOWN TEARDOWN SETUP PLAY Ready Play PAUSE TEARDOWN RECORD Record

20. まとめ： プロトコル階層 • ストリーミング専用プロトコルを用いた場合のプロトコル階層 ストリーミングサーバ WWWサーバ (番組案内) プレゼン テーション 記述 制御 音声 ビデオ データ 番組案内 ＆ メタファイル N.A. N.A. RTSP 等 SMIL 等 RTCP プレゼン テーション 記述 メタ ファイル ファイル フォーマット RTP HTTP UDP (or TCP) TCP TCP IP IP

21. マルチキャスト放送

22. ② 転送開始・終了 ① Join/Leave マルチキャスト マルチキャスト サーバ マルチキャスト ルータ (S,G): マルチキャストグループ マルチキャスト ルータ IGMP マルチキャストグループ 送信者とマルチキャストアドレスのペアから 決まるグループ (S, G)。受信者がマルチキ ャストグループへの参加・離脱を行うことで、 パケットの送信が制御される。 最近の話題： SSM (Source Specific Multicast)

23. マルチキャスト放送 (1) • 手順 (1) WWW による番組案内 サーバ クライアント HTTP ① ファイル要求 WWW サーバ Web ブラウザ ② メタファイル メタファイル ③ ビューアの起動 IGMP ④ 参加 ストリーム サーバ ビューア ライブ入力 ストリーム ファイル ⑤ ストリーミング IP Multicast

24. マルチキャスト放送 (2) • 手順 (2) SAP による番組案内 SAP: Session Announcement Protocol 定期的に番組案内 (SDP) をマルチキャスト サーバ クライアント SAP (by IP Multicast) ① 番組案内 ストリーム サーバ ビューア IGMP ライブ入力 ② 参加 ストリーム ファイル ③ ストリーミング IP Multicast RFC 2974

25. マルチキャスト放送の長所と短所 ユニキャスト放送 マルチキャスト放送 長所 既存のシステムの変更が不要 クライアントの接続状況に合わせたふくそう 制御が可能 トラヒックの削減 (原理的に冗長なパケット は発生しない) 、およびサーバ負荷の削減 短所 クライアントの増加に伴うトラヒックの爆発、 ならびにサーバ負荷の増大 (線形増加) マルチキャストルータの普及と各種設定 クライアント毎のふくそう制御が困難 課題 マルチキャストルーティングアルゴリズム ふくそう制御アルゴリズム 例： 階層化マルチキャスト

26. スケーラブル符号化 レイヤ3 空間スケーラビリティ or SNRスケーラビリティ EI EP EP ベースライン I B P B P B 時間スケーラビリティ レイヤ1 レイヤ2 レイヤ1のみ： 低品質、低レート • 空間解像度の階層化：空間スケーラビリティ • 時間解像度の階層化：時間スケーラビリティ • SNRの階層化：SNRスケーラビリティ すべてのレイヤ： 高品質、高レート

27. 階層化マルチキャスト (1) マルチキャスト サーバ マルチキャスト ルータ 広帯域 階層化されたマルチキャストストリーム ＝ 複数のマルチキャストグループ 狭帯域 Leave Receiver-Driven Layered Multicast 受信者主導で、各端末の帯域に合わせて 階層の取捨選択 (= マルチキャストグループ への加入と離脱) を行う S.MaCanne et al: “Receiver-driven Layered Multicast,” SIGCOMM’96.

28. 階層化マルチキャスト (2) • Join Experiment Join、Leave (ふくそう検出)、バックオフを繰り返し、レートを安定させる 廃棄 廃棄 廃棄 detection time レイヤ4 Join Leave レイヤ3 Join join timer *= α (バックオフ) 1回目 2回目 レイヤ2 Join レイヤ1 join timer (レイヤ毎) TCP タイムアウトと同様のバックオフメカニズム

29. 階層化マルチキャスト (3) • Shared Learning Join 実験の他の端末への通知 RH RL RL 狭帯域 広帯域 S RL RL Join 実験 RL • 端末数の増加に伴う Join 実験の回数の増加を防ぐ • 上流の広帯域 Join 実験と下流の狭帯域 Join 実験の結果の混同を防ぐ

30. 階層化マルチキャスト (4) • RLM の状態遷移図 Join 実験成功 (レイヤ増加) S Steady Join 実験失敗 (レイヤ削減) Hysterisis Join 実験 以外の廃棄 H D Drop 廃棄率大 (レイヤ削減) 遷移状態 M Measurement detection time の終了