1 / 9

Evaluation of Text Summarization

Evaluation of Text Summarization. Michal Kompan. Experiment. Sumarizácia redukciou a kombináciou Viacero rovnako dobrých výsledkov Obsahovo orientované vyhodnotenie, viacero metód pre pokrytie čo najviac aspektov Overenie prostredníctvom indukcie

eunice
Télécharger la présentation

Evaluation of Text Summarization

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Evaluationof Text Summarization Michal Kompan

  2. Experiment • Sumarizácia redukciou a kombináciou • Viacero rovnako dobrých výsledkov • Obsahovo orientované vyhodnotenie, viacero metód pre pokrytie čo najviac aspektov • Overenie prostredníctvom indukcie • Martin Hassel, 2007. Resource Lean and Portable Automatic Text Summarization.PhD thesis, School of Computer Science and Communication, Royal Institute of Technology, Stockholm, Sweden.

  3. Základné vlastnosti • Kompresný pomer • Pomer uchovanej informácie

  4. Vnútorné overenie • „zlatý štandard“ • Súdržnosť zhrnutí • Kombinácia a redukcia • Manuálne označenie stupňa • Informačná hodnota • Množstvo informácie zachovanej v zhrnutí oproti zdroju • Vhodné pre samostatné dokumenty

  5. Vnútorné overenie 2 • Presnosť a pokrytie • Pokrytie= koľko viet v referenčnom zhrnutí je prítomných aj vo vygenerovanom • UM- Utility method • Referenčné zhrnutie sa skladá z jednotiek s fuzzy ohodnotením. • Vety zo zdroja sú ohodnotené od 0-10 • Penalizácia, rôzne stupne kompresie • Podobnosť založená na obsahu

  6. Vonkajšie overenie • TheShannon game • Kvantifikácia informačného obsahu na základe hádania nasledujúceho tokenu • Závislé na vedomostiach • TheQuestion game • Nájdenie dôležitých častí v zdrojoch • Odpovedanie na otázku 3x (bez zdrojov, zhrnutie, celý dokument)

  7. Vonkajšie overenie 2 • TheClassification game • Klasifikácia zdrojov a zhrnutí do N tried • Asociácia kľúčových slov • Zdrojom sa priradia kľúčové slová • Zverejnia sa kľúčové slová a zhrnutia • Priradiť správne skupiny

  8. Výsledky

  9. Nástroje pre overenie • SEE – SummaryEvaluationEnvironment • MEADeval • ISI ROUGE – AutomaticSummaryEvaluationPackage

More Related