Video Object Cosegmentation

1. Video Object Cosegmentation Ding-Jie Chen, Hwann-Tzong Chen, and Long-Wen Chang Proceedings of the 20th ACM international conference on Multimedia

2. Outline • Introduction • Algorithm • Space-Time Graph Construction • Features for Super-voxels • Relative Motion Segmentation • Co-feature Gaussian Mixture Models • Markov Random Fields and Graph Cuts • Experiments • Conclusion

3. Introduction • 圖像分割主要問題在於區域支離破碎或是沒有意義。 • Rother et al. 提出通過multiple observations隱式(implicitly)定義該區域的利益(interest)。 • iCoseg 讓使用者繪製塗鴉去cosegmenting出前景。 • Rother et al.利用直方圖優化Markov random field (MRF)和信任區域(trust-region)切割。

4. Introduction • Half-integrality based algorithms for cosegmentationof images • 利用直方圖做正規化。 • An efficient algorithmfor co-segmentation • 利用直方圖做為獎勵(reward)。 • Cosegmentation revisited: Models and optimization • 將三個方法比較，並提出對偶分解技術優化cosegmentation。

5. Algorithm • video cosegmentation algorithm分為三個階段 • 第一階段:依據motion similarities分割出前景跟背景。 • 第二階段:在兩個影片的前景建造高斯混合模型(GMM)，也對背景建立GMM。 • 第三階段:根據GMM找到的前景物件再去做一次切割。

6. video cosegmentation algorithm

7. Space-Time Graph Construction • 採用類似 space-time graph structure • 使用graph-based over-segmentation technique建立三維模型 • 為了模擬物體運動所造成的變化採用dense optical flow • 每張圖像是用pixel當節點

8. Space-Time Graph Construction • 每個節點 都是 8-connected neighbors 是1到8-connected。 • 是8-connected的

9. Space-Time Graph Construction • 根據 dense optical flow • 可以在前一張影像找到相應的 • 連結它所有的鄰居 • 可以在下一張影像找到相應的 • 連結它所有的鄰居 • Space-time over-segmentation 比 image over-segmentatiom 還要有 時間上的連貫性。

10. Features for Super-voxels • 使用三種特徵描述super-voxel • Color • 使用CbCr表示super-voxel顏色，捨棄Y(luma)為了防止光照片化所引起的雜訊。 • Texture • 使用 maximum response (MR) filter bank • MRfilter bank:edges、 ridges • relative motion

12. Features for Super-voxels • maximum response (MR) filter • 根據大小(scale)和方向(orientation)的變化，完成顏色特徵後，平均的super-voxel推導出紋理特徵。 • fine-level super-voxels 較少的內部變化，所以沒有太多的紋理特徵，所以只計算粗糙的super-voxel 的MRS4特徵。

16. Relative Motion Segmentation • relative motion (RM) • 相似於spectral clustering

17. 是dense flow ，計算每個一像素 • 是 張影像的relativemotion matrix • ， • ， • 計算完relative motion matrix 再用spectral clustering 將super-voxels分群。

18. Co-feature Gaussian Mixture Models • 從一對輸入影像在super-voxelcluster裡找到前景的物件。 • super-voxel的特徵向量包含 • chroma features:Cb、Cr • texture features : MRS4Cb、MRS4Cr • 使用 的距離比較兩個影片中的物件分佈，並確定找到最佳的匹配。

19. Gaussian mixture models (GMMs) • 建立無監督式的GMMs • super-voxels在bounding box內就計算 co-feature GMM • super-voxels在bounding box外就計算background-feature GMMs

20. Markov Random Fields and Graph Cuts • 切割的目的是要標出super-voxel的物件和背景。 • MRF標記的問題可以被graph cuts解決。 • 本文的MRF energy function 包括兩個 • data term Ed • smoothness term Es

21. 使用GMMs代表物件和背景的特徵分佈 • 給定super-voxel 是特徵向量 • 計算是co-feature GMM C 或 background GMM • 是GMMcomponents數量。 • 是第K個GMMcomponents數量。 • 是特徵樣本的均值。 • 是協方差的陣列。

22. Markov Random Fields and Graph Cuts • smoothness term • 是super-voxel 的 featuredistanceweighted和 relative motion distance • 和 是參數。 • 如果neighboring super-voxels是一樣的則 smoothness term設為0。

23. Experiments • 本文主要是提出 • 對intra-video和inter-video的線索建模，然後用他們來做更好的影片物件切割。 • 這樣的方法不是其他切割方法可以做到的。 • 為了證明本文和 Efficient hierarchical graph-based video segmentation 還有Discriminativeclustering for image co-segmentation 做比較。

24. 本文和Efficient hierarchical graph-based video segmentation的比較。

25. Comparison with Video Segmentation. • Efficient hierarchical graph-based video segmentation • 用hierarchical graph structure去推導出層次的切割結果。 • 需要由使用者選擇一個粒度(granularity)，用於產生最後的切割。

26. Comparison with Image Cosegmentation • 第一欄:三對影像。 • 第二欄:Discriminativeclustering for image co-segmentation的結果。 • 第三欄:本文的結果。

27. 本文的切割結果

28. Conclusion • 本文提出一個新的演算法可以解決video object cosegmentation 的問題。 • 本文考慮到影片的 motion 和影片的appearance model設計出一個強大的影片分割演算法。