1 / 20

A Brief Introduction to Boosting

A Brief Introduction to Boosting. 20013386 윤정한. 목 차. Boosting 의 개념 AdaBoost Algorithm Boosting Error AdaBoost 의 장단점 AdaBoost 의 적용 예. Boosting 의 개념 (1/2). 경마 경기에서의 decision making 말 선택의 기준 규칙 집합 선택  난이함 데이터가 주어졌을 경우 …  쉬움. 어떤 말이 좋은말인가요 ?. 글쎄요 …. 경마 전문가.

schuyler
Télécharger la présentation

A Brief Introduction to Boosting

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. A Brief Introduction to Boosting 20013386 윤정한

  2. 목 차 • Boosting의 개념 • AdaBoost Algorithm • Boosting Error • AdaBoost의 장단점 • AdaBoost의 적용 예

  3. Boosting의 개념(1/2) • 경마 경기에서의 decision making • 말 선택의 기준 규칙 집합 선택  난이함 • 데이터가 주어졌을 경우…  쉬움 어떤 말이 좋은말인가요? 글쎄요… 경마 전문가 이 경우는 가장 최근 승률이 높은 첫번째 말이죠.^^

  4. Boosting의 개념(2/2) • Boosting이란? • 데이터들로부터 도출해 내기 쉬운 선택 기준들은 일반적으로 random한 선택보다 약간 더 좋은 성능 • 약한 선택 기준들을 합쳐줌으로써 정확도가 높은 알고리즘을 만들어 주는 작업 • AdaBoost • 가장 popular한 boosting algorithm • 단순하고 효율적

  5. AdaBoost Algorithm(1/4) • 문제 정의 • 하나의 vector 값에 binary label 할당 • Weak hypothesis: with error: • Final “strong” hypothesis:

  6. AdaBoost Algorithm(2/4) • Given training set : • Initialize distribution :

  7. AdaBoost Algorithm(3/4) • For do • Train weak learner using distribution • Get weak hypothesis with error • Choose if • The lower the error , the higher the • Update distribution:

  8. AdaBoost algorithm(4/4) • Distribution D is important • is updated in each iteration • The weight of examples misclassified by is increased • These correctly classified decreased • measures the importance of each hypothesis

  9. Boosting Error(1/3) • Let error • Random hypothesis • Perfect hypothesis • 약한 학습자들의 성능이 random한 경우보다 약간씩만 좋더라도 exponential하게 오류 감소

  10. Boosting Error(2/3) • 일반화 오류 • Overfit if run for too many rounds T • Not overfit even if run for thousands of rounds

  11. Boosting Error(3/3)

  12. AdaBoost 의 장단점 • 장점 • 빠른 속도와 단순성 및 프로그램의 용이성 • 적용할 라운드의 수(T)를 제외하고 튜닝할 인자 없음 • 어떠한 약한 학습자와도 결합 가능 • Comes with a set of theoretical guarantees

  13. Disadvantages of AdaBoost • 단점 • 다음과 같은 경우 낮은 성공율 • 충분하지 못한 데이터 • 너무 복잡한 weak hypothesis • 너무 약한 weak hypothesis • Noise in data is a problem • Noisy examples get higher weights in distribution D

  14. AdaBoost의 적용 예(1/5) • 지금까지 설명된 AdaBoost • Binary classification에서의 적용 • 실제의 문제들은 대부분 multiclass problem • AdaBoost의 확장 알고리즘 • AdaBoost.MH • AdaBoost.MI

  15. AdaBoost의 적용 예(2/5) • AdaBoost.MH • 문제 정의 • 가능한 class : 1,2,3,…k • k개의 example • 각각의 example에 –1이나 1을 할당하는 문제 • Final Strong Hypothesis • 다음 식을 최대화 시켜주는 tag c선택

  16. AdaBoost의 적용 예(3/5) • 자연언어처리 작업 적용 사례 • 품사 태깅 • 주변 문맥 정보를 이용하여 단어의 품사를 결정하는 문제 • Time/명사 flies/동사 like/전치사 an/관사 arrow/명사 ./문장부호 • “flies가 명사? 동사?”“like가 전치사? 동사?”

  17. AdaBoost의 적용 예(4/5) • 품사 태깅 적용 방법 • Weak hypothesis • “attribute=value”의 형태 • attribute의 예 • 검사하고자 하는 단어의 소문자 변환 문자열 • (소문자 변환 문자열) = “student” • 주변 단어들의 학습 데이터에서 가장 많이 선택된 품사 • (이전 단어의 가장 많이 선택된 품사)=“명사”

  18. AdaBoost의 적용 예(5/5) • 품사 태깅 적용 결과 • 현존하는 best algorithm들과 거의 비슷하거나 약간 뒤지는 결과 • 실험 자체가 매우 단순한 feature들만을 사용하여 행해졌기 때문에 방법 자체는 optimistic

  19. AdaBoost Demo • AdaBoost applet on Yoav Freund’s website http://www.research.att.com/~yoav/adaboost/

  20. 참고논문 • Yoav Freund, Robert E. Shapire. 1999. A Short Introduction to Boosting. • Robert E. Shapire. 1999. Theoretical Views of Boosting and Application. • Steven Abney, Robert E. Schapire, Yoram Singer. 1999. Boosting Applied to Tagging and PP Attachment

More Related