1. 숨은그림찾기 자동제작 시스템 연세대학교 컴퓨터과학과 비쥬얼컴퓨팅연구실

2. Introduction • 기존의 숨은그림찾기의 특징 • 색상 무시 또는 간소화 • 숨겨질 물체의 형태 유사성 • 동기화를 위한 약간의 변형 허용 • 시스템의 목적 • 숨은그림찾기 퍼즐의 자동제작 시스템 • 데이터베이스에서 숨겨질 물체를 자동으로 선택 • 배경이미지 위에 숨겨질 물체의 위치, 회전, 크기의 자동 선택 • 동기화를 위한 자동 변형 Liz ball

3. Related Work • 이미지 스타일화 • 미적 스타일화 • Abstraction : [Christoudias et al. 2002], [DeCarlo et al. 2002]… • Painterly rendering : [Hertzman 1998], [Hertzman 2001]… • Example based method : [A. Hertzmann et al. 2001], [Youngha Chang et al. 2007] • 목적성 스타일화 • Maze construction: [Xu and Kaplan 2007] • Calligraphic packing: [Xu and Kaplan 2007] • Computer-generated papercutting: [Xu and Kaplan 2007]

4. System overview

5. Line Drawing • Coherent Line Drawing [Kang et al. 2007] • Edge tangent flow(ETF) 와 flow difference of Gaussian(FDOG) 에 기반한 외곽선 추출기법

6. Object Database • 웹상에 존재하는 임의의 이미지 • 임의의 물체 이미지를 라인드로잉 형태로 변형 • 인식가능한 물체만 걸러냄 • 총 200개의 물체

7. Shape Matching • Shape context [Hao and Zhang 2003] • 특징점 기반의 형태기술자 • 하나의 특징점을 기준으로 이웃한 특징점들의 분포를 거리와 각도를 기준으로 히스토그램으로 표현 • 크기와 이동에 독립적인 형태기술자 • 회전 독립성: PCA기반의 주축 사용 Rotation invariant Shape context PCA axis Harris corner detector Shape context Line image

8. Shape Matching • 배경이미지를 위한 Shape context • N 개의 이웃 점을 기준으로 물체와 같은 식으로 형태기술자 정의 • 지역적인 형태를 대표함

9. Shape Matching • Shape context간의 비교 • 지역적인 유사성을 판단할 수 있음 Sj Object image Back ground image

10. Shape Matching • 이웃한 Shape context간의 비교 • 가장 유사한 Shape context 쌍의 이웃간의 비교를 통해 유사도 값을 보정 • 크기를 고려하기 위해 shape context의 반지름 크기도 비교 Sj  Object image Back ground image

11. Shape Matching • 이산적 유사도 값 의 보간 • 일반적인 곡선보간 • Over-fitting 문제 발생 • Thin-plate spline (TSP) • 곡선의 굴곡을 최소화 하는 형태로 보간 하는 기법

12. Shape Matching • 형태 매칭 결과에 따른 숨겨질 물체의 위치 판단 • 위치: 유사도를 보간한 TPS 곡면이 최고값을 가지는 위치 • 회전: 최고 유사도를 가지는 shape context간의 회전축 비교 • 크기: 최고 유사도를 가지는 shape context간의 반지름 비교 Background image Target Object TPS map

13. Shape deformation • 물체에 대한 약간의 변형을 허용 • 과도한 변형은 물체가 가지는 고유한 특성을 잃어버릴 위험 존재 • 해결책 : Affine transform [2x3] 매트릭스 • Pi: 숨겨질 물체의 특징점 • Qi: 배경이미지 위에 위치한 Pi 와 가장 가까운 특징점

14. Shape deformation • 순차적인 선형 최소화 문제 • 선형문제의 정의 • 잘못된 매칭(outlier) 제거 [Liu et al. 2006] • Inlier 확률식 • 임계값을 기준으로 한 Outlier 제거

15. Result generation • 배경에 알맞은 숨겨질 물체의 선택 • 데이터베이스상의 물체 중 가장 높은 유사도를 가지는 물체군 선택 • 유저가 선택한 물체의 숨김도 가능 • 최종 결과의 렌더링 • 숨겨질 물체와 배경 이미지의 연결성을 보완하기 위해 CLD 기법을 사용하여 다시 한번 외곽선을 검출

16. Experimental result

17. Experimental result

18. Experimental result

19. Experimental result

20. Experimental result

21. Experimental result

22. Experimental result

23. User Evaluation • 30 명의 테스터에 기반

24. Conclusion • 숨은그림찾기 자동제작 시스템의 최초의 제안 • 새로운 이미지 스타일화 기법 • 빠른 유사도 검색 방법 제안 • 물체변형 지원으로 난이도 상승 • 문제점 • 형태 매칭의 부정확성 • Local entropy 차이 값을 사용한 부정확한 매칭결과 제거 가능