Extrakce informac í pomocí extrakčních ontologií

1. Extrakce informacípomocí extrakčních ontologií Vysoká škola ekonomická v Praze Fakulta informatiky a statistiky Katedra informačního a znalostního inženýrství Martin Labský Voice Technologies and Systems Group IBM ČR martin.labsky@cz.ibm.com

2. Agenda • Extrakce informací, motivace • Metody extrakce informací • vybrané algoritmy a nástroje • Rozšířené extrakční ontologie • kombinace tří typů extrakčních znalostí • návrh jazyka EOL • extrakční algoritmy • Experimenty a případové studie • kontaktní informace z webových stránek • oznámení o seminářích • popisy produktů včetně obrázků • Shrnutí

3. Nalézt v dokumentech údaje předem definovaného sémantického typu Extrakce informací – příklady aplikací Seminář řečník ? místo ? začátek ? konec ? Extrakce informací

4. Extrakce informací – příklady aplikací Extrakce informací

5. Využití extrakce informací • Strukturované vyhledávání • hledání dle parametrů (např. výrobku), porovnání napříč weby • disambiguace při vyhledávání (Jaguar, Johnsson) • Urychlení navigace v dokumentech • zvýraznění relevantních informací pro určitou úlohu • Automatické zodpovídání otázek • jaké je hlavní město... • Podpora automatického překladu • identifikace a nepřekládání jmen (Jan Kovář na John Smith) • Podpora posuzování kvality webových stránek • např. zda medicínské stránky splňují formální kritéria jako je uvedení kontaktních informací Extrakce informací

6. Automatická extrakce informací • Alternativou je ruční anotace dokumentů jejich autory • např. FOAF (Friend Of A Friend) • k dispozici pouze výjimečně, navíc nemusí obsahovat potřebné informace • anotace může být (i záměrně) nepravdivá • Automatická extrakce informací • rychlé pokrytí velkého počtu dokumentů • využívá různé typy extrakčních znalostí • spolehlivost závisí na obtížnosti úlohy, zvolených algoritmech a jimi využitých extrakčních znalostech Extrakce informací

7. Typy extrakčních úloh • Dle typu zpracovávaného vstupu • množství formátování (žádné – rich text – tabulky) • gramatičnost textu (odstavce gramatických vět – útržky) • extrakce netextových prvků (obrázky) • Dle pokrytí • omezeno na homogenní skupinu dokumentů (konkrétní website) • omezeno na doménu (např. nabídky práce, oznámení o seminářích) • bez omezení (např. extrakce jmen osob z libovolného textu) • Dle složitosti oboru hodnot extrahovaných prvků • konečný a „malý“ (např. názvy zemí) • možno pokrýt formální gramatikou (regulárními výrazy, např. email) • možno pokrýt složitějším vzorem (např. standardní poštovní adresa určité země) • otevřené obory hodnot (jména lidí) • Dle míry nejednoznačnosti hodnot extrahovaných prvků • relativně jednoznačné (světadíly) – nejednoznačné (příjmení) • Dle struktury extrahovaných prvků • extrakce izolovaných prvků (jméno člověka) • extrakce prvků v binárních relacích (člověk zaměstnánve firmě) • extrakce záznamů o více prvcích „plnění šablon“ (informace o fůzi, kontaktní údaje) volně dle Cohen, 2004

8. Agenda • Extrakce informací, motivace • Metody extrakce informací • vybrané algoritmy a nástroje • Rozšířené extrakční ontologie • kombinace tří typů extrakčních znalostí • návrh jazyka EOL • extrakční algoritmy • Experimenty a případové studie • kontaktní informace z webových stránek • oznámení o seminářích • popisy produktů včetně obrázků • Shrnutí

9. IE algoritmy dle typu využité extrakční znalosti • Wrappery • opírají se o pevnou formátovací strukturu dokumentů z nichž může extrakce probíhat • relevantní pozice ve formátovací struktuře lze definovat manuálně; několik příkladů postačí k naučení „wrapperu“ • Algoritmy strojového učení nevyžadující pravidlené formátování • pravděpodobnostní metody (HMM, MEMM, CRF, Bayesovské sítě) • subsymbolické metody (SVM, neuronové sítě) • indukce pravidel z dat (LP2, Rapier) • Metody založené na ručních pravidlech • pravidla založená typicky na regulárních výrazech a datových typech hledaných atributů • pravidla typicky hledající extrahované informace podle jejich obsahu a kontextu • Doplňkové metody: bootstrapping a aktivní učení

10. Extrakční wrappery • Wrappery dle způsobu vzniku • ruční tvorba (ve specializovaném jazyce nebo pomocí grafického IDE) • supervizovaně trénované (typicky interaktivně, postačí několik příkladů) • nesupervizovaně trénované (na množině dokumentů rozpoznají měnící se datové části dokumentů a ty extrahují) • Reprezentace a indukce wrapperů • ručně zadaná specifikace v příslušném jazyce • naučená pravidla založená na kontextech a ev. obsazích extrahovaných položek • třídy wrapperů založené na oddělovačích, např. WIEN (Kushmerick) • varianty pokrývání množin: Whisk, Stalker (využito v projektu Crossmarc) • naučený konečný automat (transducer) akceptující symboly dokumentu (slova a formátovací značky), který pro každý akceptovaný symbol určí extrahovanou třídu • SoftMealy (supervizovaný) • RoadRunner (nesupervizovaný) • Některé nástroje pro vývoj, běh a udržování wrapperů • Open-source: WebHarvest, XWrap, JScrape • Komerční IDE: Kapow, Lixto

11. Algoritmy strojového učení pro IE • Při aplikaci učících se algoritmů pro IE je třeba zvolit • učící se algoritmus • reprezentaci dokumentu • Algoritmy dle principu fungování • pravděpodobnostní metody (HMM, MEMM, CRF, Bayesovské sítě) • subsymbolické metody (SVM, neuronové sítě) • indukce pravidel z dat (LP2, Rapier) • Algoritmy dle typu zpracovávaných dat • klasifikátory izolovaných příkladů • značkovače sekvencí • Možné reprezentace dokumentu • sekvence slov • sekvence hranic mezi slovy • množina sousloví určitých délek (např. 1 až 5)

12. Metody IE založené na ručních pravidlech • Perl skripty s regulárními výrazy • Ruční tvorba wrapperů • např. WebHarvest • Anotování dle textového obsahu ontologií • slovníkové vyhledávání • Ontomat, Ontotext KIM plugin • využití regulární výrazů, slovníků a pravidelného formátování • extrakční ontologie • Extrakční jazyk JAPE • součástí extrakční komponenty ANNIE v rámci GATE

13. Doplňkové metody pro IE • Bootstrapping • Např. Pankow nebo Armadillo • „Prázdný“ IE algoritmus začíná s omezenou množinou pozitivních příkladů (např. jména prezidentů) • Algoritmus nalezne (např. na webu pomocí vyhledávače) časté dobře diskriminující kontexty ve kterých se známé pozitivní příklady nacházejí a indukuje z nich kontextová extrakční pravidla • Kontextová extrakční pravidla jsou použita k nalezení nových (pravděpodobně) pozitivních příkladů • GOTO 2 nebo vrať nalezené pozitivní příklady • Aktivní (interaktivní) učení • Melita, AKT • IE systém začíná s iniciálním nebo i prázdným extrakčním modelem, a množinou neoznačkovaných dokumentů • Systém vyzve uživatele, aby označkoval jeden dokument, na kterém si je současný extrakční model nejméně jistý • Nově anotovaný dokument je přidán do trénovacích dat a extrakční model přetrénován • GOTO 2 dokud není přesnost extrakce na neviděných testovacích dokumentech dostatečná

14. Nevýhody izolovaných přístupů • Wrappery • využitelné jen pro dokumenty s pevnou formátovací strukturou (např. katalog zboží konkrétní website) • nelze spoléhat na známou formátovací strukturu konkrétních website pro úlohy, kde množina zpracovávaných website není předem dána • Trénované přístupy • často vyžadují velké množství trénovacích dat, která typicky nejsou pro specifickou úlohu dostupná • po sběru trénovacích dat je obtížné měnit extrakční schéma • Manuální přístupy • řízení báze znalostí o mnoha extrakčních pravidlech je pro člověka obtížné • není snadné využít případná trénovací data Motivace, cíle a obsah disertační práce

15. Agenda • Extrakce informací, motivace • Metody extrakce informací • vybrané algoritmy a nástroje • Rozšířené extrakční ontologie • kombinace tří typů extrakčních znalostí • návrh jazyka EOL • extrakční algoritmy • Experimenty a případové studie • kontaktní informace z webových stránek • oznámení o seminářích • popisy produktů včetně obrázků • Shrnutí

16. Motivace pro rozšířené extrakční ontologie • Využít tři různé typy znalostí pro extrakci informací z dokumentů • pravidla zadané expertem, • znalosti indukované z trénovacích dat, • pravidelné formátování dokumentů. • Cílem extrakčních ontologií a jazyka pro jejich reprezentaci je • rychlé prototypování extrakčních aplikací, • postupné zlepšování přesnosti a pokrytí přidáním dalších znalostí, • snadné změny extrakčního schématu. • Implementace • extrakční nástroj Ex • rozšíření extrakce textových položek o extrakci obrázků Motivace, cíle a obsah disertační práce

17. Rozšířené extrakční ontologie • Termín extrakční ontologie zavedl (D.W. Embley, 2002) • metoda pro extrakci strukturovaných záznamů z internetu na bázi ručně zadaných regulárních výrazů • Navržené rozšířené extrakční ontologie • bohatší jazyk pro manuální zadání extrakčních znalostí • využívají navíc trénovací data a nesupervizované rozpoznání pravidelné formátovací struktury • kombinují extrakční znalosti na základě pravděpodobnostního modelu • reprezentovány navrženým a implementovaným jazykem Extraction Ontology Language (EOL) v rámci vyvinutého opensource nástroje Ex Rozšířené extrakční ontologie

18. z trénovacích dat nesupervizované manuální extrakční indicie jiné znalosti Zapojení extrakčních znalostí v extrakční ontologii p r Rozšířené extrakční ontologie

19. Kombinace extrakčních indicií • Každá indicie Eje vybavena 2 odhady pravděpodobností vzhledem k předpovídanému atributu A: • přesnost indicie p = P(A|E) ... míra postačitelnosti • pokrytí indicier = P(E|A) ... míra nutnosti • Každému atributu je přiřazena apriori pravděpodobnost výskytu P(A) • označuje množinu indicií definovaných pro A • Předpokládáme podmíněnou nezávislostindicií v rámci : • Pomocí Bayesova vzorce určíme P(A | hodnoty indicií ve )takto: kde Rozšířené extrakční ontologie

20. z trénovacích dat nesupervizované manuální extrakční indicie jiné znalosti příznaky značky v místech kde byl atribut klasifikován příznaky w1, w2,... Zapojení extrakčních znalostí v extrakční ontologii p r ... Rozšířené extrakční ontologie

21. Zapojení trénovaného klasifikátoru do E.O. implementace ex. algoritmu CRF reprezentace dokumentu: sekvence slov predikované atributy v rámci třídy trénovaný model použít znalosti definované v této E.O. jako příznaky • věříme pozitivním rozhodnutím klasifikátoru na 92% • věříme, že klasifikátor „odhalí“ aspoň 50% případů odkaz na rozhodnutí „speaker“ klasifikátoru „cls1“ použit ve vzoru ve <value> sekci atributu speaker.

22. Extrakční proces 1/4 • Předzpracování dokumentu, načtení formátovací struktury • Nalezení výskytů vzorů pro obsah a kontext atributů • Aplikace trénovaných klasifikátorů, označení jejich predikcí • Nalezení výskytů vzorů obsahujích reference na rozhodnutí klasifikátorů • Vytvoření kandidátů na hodnoty atributů (AC),nalezení možných koreferencí a skórování AC dle PAC = • Vytvoření svazu AC napříč dokumentem, uzly svazu jsou 3 typů: • (ac) obsahují právě jeden AC, (null) prázdné, (bg) na pozadí • uzel má skóre log(PAC) O(n) délka dokumentu O(|AC|) Washington , DC ... ... Rozšířené extrakční ontologie

23. Extrakční proces 2/4 • Nalezení nejlepší cesty svazem AC • cesta s nejlevnějším součtem skóre uzlů • uzly typu (ac) identifikují extrahované hodnoty atributů • první možný konec extrakce • Nesupervizovaná indukce formátovacích vzorů • AC na nejlepší cestě svazem dotázány na jejich formátovací „hnízdo“ • „hnízdo“ je sub-strom ve formátovací struktuře dokumentu, obsahující AC, jehož kořen je první blokový element (např. odstavec nebo buňka tabulky) • „hnízdo“ je použito jako nová indícíe pokud jeho četnost a odhad jeho přesnosti (pomocí rel. četností v dokumentu) překročí nastavené prahy O(k |AC|) průměrné větvení svazu O(n |AC|) * formátovací „hnízdo“ naučené pomocí správně rozpoznaných jmenpomáhá identifikovat jinak špatně rozpoznatelné atributy TD TD B A_href B A_href John Doe jdoe@web.ca Argentina Agosto aa@web.br Rozšířené extrakční ontologie

24. Extrakční proces 3/4 • Generování kandidátů na instance tříd (IC) • zdola nahoru postupným seskupováním jednotlivých IC s AC v jejich okolí • prováděno postupně šplháním formátovací strukturou nahoru od rozšiřovaného IC • pro rozšíření vybírán vždy nejlépe skórující IC, rozšířené IC skladovány v uspořádané frontě • řízeno a omezeno ontologií (kardinalita, axiomy a další indicie třídy) a nastavením výp. až O(n |AC|2) prost. až O(n2) • Skórování IC • Skóre PIC určeno dvěma složkami – na základě skóre obsažených AC a na základě indicií třídy • kde |IC| = počet atributů v IC, ACskip= AC v rozsahu IC který není jejím členem, PAC skip= odhad pravděpodobnosti, že AC je “planý poplach”, C= množina indicií známá pro třídu C, P(C|EC) kombinuje indicie dle stejného modelu jako pro atributy • Obě skóre zkombinovány pseudo-bayesovskou funkcí známou z exp. systému Prospector: Rozšířené extrakční ontologie

25. Extrakční proces 4/4 O(n |IC|) • Vložení validních IC do původního AC svazu • skóre validních IC finalizováno a IC prořezány dle skóre • každý validní IC je reprezentován novým uzlem, obcházejícím samostatné AC a uzly reprezentující „pozadí“ • skóre IC uzlu = • Nejlepší cesta AC+IC svazem identifikuje extrahované položky • algoritmus nalezení nejlepší cesty umožňuje definovat různá omezení pro položky na cestě (min/max počet instancí nebo atributů určitého typu) • n-best O(k (|IC|+|AC|)) IC1 IC2 Rozšířené extrakční ontologie

26. Implementace nástroje Ex • Systém provádí „extrakční úlohy“ v režimech: • testování, • supervizované trénování klasifikátorů, • n-násobná křížová validace, • n-násobná křížová validace s indukcí ngram rysů. • V rámci extrakční úlohy lze řetězit více parciálních úloh • několik instancí Exu nebo další nástroje • Evaluátor • přesnost, úplnost a F-míra (strict, loose) • Villain skóre hodnotící seskupování atributů do instancí • Opensource • Java, 54k řádek kódu

27. Příklad extrakční úlohy

28. Agenda • Extrakce informací • Motivace, cíle a obsah disertační práce • Rozšířené extrakční ontologie • kombinace tří typů extrakčních znalostí • návrh jazyka EOL a implementace interpretu • algoritmy extrakčního procesu • Popis experimentů • oznámení o seminářích • kontaktní informace z webových stránek • popisy produktů • Shrnutí

29. Experimenty: oznámení o seminářích • 485 anglických e-mailových oznámení o seminářích na Carnegie-Melon University. • Manuální EO: vytvořena člověkem na základě 50 náhodně vybraných dokumentů, testována na zbývajících 435 dokumentech. • Kombinovaná EO: stejná ontologie vybavená CRF klasifikátorem. Pro atribut Location jsou manuální indicie použity jen jako příznaky klasifikátoru, pro ostatní atributy jsou manuální indicie plně zapojeny. 10-násobná křížová validace na testovací sadě 435 dokumentů. Popis experimentů

30. Oznámení o seminářích: výsledky IE systémů • Extrakce oznámení o seminářích je jedna z často používaných srovnávacích úloh: • Data viz http://tcc.itc.it/research/textec/tools-resources/learningpinocchio/CMU . Výsledky převzaty z: • BIEN: Peshkin, 2003 • Skip-chain CRF:Sutton, 2006 • LP2, HMM, SRV, Rapier a Whisk: Ciravegna, 2001 • Nejlepší výsledky dosahuje skip-chain Conditional Random Field a Bayesovská síť BIEN.

31. Villain score hodnotí přesnost seskupování atributů Experimenty: kontaktní informace z HTML • Kolekce heterogenních webových stránek z medicínské domény ve 3 jazycích • Manuální EO: vyvinuta člověkem pomocí 30 dokumentů z každé kolekce, testována na zbytku dokumentů s využitím indukce formátovacích vzorů • Kombinovaná EO: manuální EO doplněná CRF klasifikátorem, manuální indicie použity samostatně i jako příznaky pro CRF, 10-násobná kříž. validace na testovacích dokumentech • EN: 116dokumentů, 7000 entit, 1131 instancí tříd, DE: 93/4950/768, CZ: 99/11000/2506 Popis experimentů

32. Experimenty: nabídky bicyklů z HTML • Kolekce 103 dokumentů / 4100 entit z různých website ve V.Británii nabízejících bicykly • Manuální EO: vyvinuta člověkem pomocí 50 dokumentů, testována na zbytku • FPI EO: manuální EO se zapnutou indukcí formátovacích vzorů • HMM EO: využívá pouze trénovaný HMM model, datotypová omezení a axiomy • Kombinovaná EO: Využívá HMM model pro všechny atributy kromě ceny a slevy 23,5% Popis experimentů

33. Vyvinuto několik binárních klasifikátorů obrázků (bicykl ano/ne) • příznaky: rozměry, barevný histogram, počet výskytů ve stránce, podobnost k trénovací kolekci pozitivních příkladů (Praks, 2002) • 2.6% = chybovost kombinovaného klasifikátoru (10-CV na 1600 obrázcích) • HMM model propojen s klasifikátorem obrázků tak, že lexikální distribuce stavů emitují třídy obrázků předpovídané klasifikátorem • 88% F-míra pro obrázky jako součást popisu produktu Experimenty: HMM a extrakce obrázků • Skrytý markovský model s dedikovanými stavy pro extrahované položky a jejich kontext, inspirováno (Freitag, McCallum 2000) • Experimenty s nesupervizovaněindukovanými topologiemi • Rozšíření lexikálních distribucí stavů o n-gramové distribuce • Jediný model pro všechny extrahované položky: • 1 Background stav • 1 Target, 1 Prefix and 1 Suffix stav na 1 atribut Popis experimentů

34. Binární klasifikace obrázků: příznaky • Velikost • absolutní výška a šířka v pixelech • normalizovaná hodnota normálního rozdělení odhadnutého z pozitivních příkladů (obrázků kol) • 6,6% chyb (práh hodnoty rozdělení) • Barevný histogram • HSV reprezentace obrázku, pixely kvantizovány do 162 možných hodnot  vektor četností o 162 pozicích • 5.2% chyb (Weka, PART rozhodovací seznam) • Míra podobnosti obrázku ke kolekci pozitivních trénovacích obrázků (ke K nejpodobnějším) • latentní sémantický index • 26% chyb • Kombinace příznaků • 2.6% chybovost, PART rozhodovací seznam • CV-10, 1600 obrázků

35. aplikace: malý strukturovaný vyhledávač, autory webového rozhraní jsou kolegové z KEG Experimenty: HMM a extrakce obrázků

36. Shrnutí • Rozšířené extrakční ontologie • volitelné využití 3 různých typů extrakční znalosti • rychlé prototypování • snadné změny extrakčního schématu • Experimentální domény • oznámení o seminářích • kontaktní informace • popisy bicyklů s obrázky • Open-source extrakční nástroj Ex • distribuce, zdrojové kódy a příklady: http://eso.vse.cz/~labsky/ex • Java, 54000 řádků kódu

37. Odkazy • Chan, C.H., Kayed, M., Girgiz, M.R., Shaalan, K.F.: A Survey of Web Information Extraction Systems. IEEE Transactions on Knowledge and Data Engineering, 2006. • Cohen, W.: Information Extraction and Integration: an Overview. 2004. Online tutorial, http://www.cs.cmu.edu/~wcohen/ie-survey.ppt • Uren, V., Cimiano, P., Iria, J., Handschuh, S., Vargas-Vera, M., Motta, E., Ciravegna, F.: Semantic annotation for knowledge management: Requirements and a survey of the state of the art. Web Semantics, 2006. • Embley, D.W., Tao, C., Liddle, S.W.: Automatically extracting ontologically specified data from HTML tables with unknown structure. In: Proc.ER 2002. • Karkaletsis, V., Karampiperis, P., Stamatakis, K., Labský, M., Růžička, M., Svátek, V., Polla, M., Mayer, M, Gonzales, D: Automating Accreditation of Medical Web Content. In: ECAI, Patras, IOS Press, 2008, ISBN 978-1-58603-891-5. • Labský, M., Nekvasil, M., Svátek, V.: Towards Web Information Extraction using Extraction Ontologies and (Indirectly) Domain Ontologies. In: K-CAP, Whistler, ACM, 2007, ISBN 978-1-59593-643-1. • Labský, M., Svátek, V.: Combining Multiple Sources of Evidence in Web Information Extraction. In: ISMIS, Toronto. Foundations of Intelligent Systems, Springer-Verlag, 2008, ISBN 978-3-540-68122-9. • Labský, M., Svátek, V., Nekvasil, M.: IE Based on Extraction Ontologies: Design, Deployment and Evaluation. In: KI– Ontology-based Information Extraction Systems, Kaiserslautern, CEUR-WS, 2008, ISSN 1613-0073. • Labský, M., Svátek, V.: On the Design and Exploitation of Presentation Ontologies for Information Extraction. In: ESWC/Mastering the Gap: From Information Extraction to Semantic Representation. Budva: KMI, The Open University, 2006. • Labský, M., Svátek, V., Šváb, O., Praks, P., Krátký, M., Snášel, V.: IE from HTML Product Catalogues: from Sorce Code and Images toRDF. Web Intelligence, Compiégne, IEEE, 2005, ISBN 0-7695-2415-X. • Labský, M., Svátek, V., Šváb, O.: Types and Roles of Ontologies inWeb Information Extraction. In: ECML/PKDD– Knowledge Discovery and Ontologies, Pisa, 2004. • Labský, M., Vacura, M., Praks, P.: Web Image Classification for Information Extraction. In: RAWS. VŠB TU, 2005, ISBN 80-248-0864-1. • Labský, M.: Product information extraction from semistructured documents using HMMs. Znalosti, VŠB TU, 2004 • Peshkin, L., Pfeifer, A.: Bayesian Information Extraction Network. In:Proc. Intl. Joint Conference on Artificial Intelligence, 2003. • Svátek, V., Labský, M., Nemrava, J., Kosek, J., Růžička, M.: Projekt MedIEQ: hodnocení zdravotnických webových zdrojů s využitím extrakce informací. Brno 14.-17.10.2006. In: DATAKON, Brno, MU, 2006 ISBN 80-210-4102-1. • Srovnání výsledků extrakčních nástrojů na úloze oznámení o seminářích: http://tcc.itc.it/research/textec/tools-resources/learningpinocchio/CMU • Praks,P.,Dvorský,J.,Snášel,V.:Latentsemanticindexingforimageretrievalsystems.In:SIAMConferenceonAppliedLinearAlgebra,Williamsburg,2003.

38. Děkuji za pozornost! • Otázky ? http://eso.vse.cz/~labsky/ex

39. Popis dat • Emailová oznámení o seminářích • 485 dokumentů, 3000 pojmenovaných entit 4 typů, 1 oznámení na email • Extrakce kontaktních informací z heterogenních webových stránek v medicínské doméně pro 3 jazyky • extrakce pojmenovaných entit 10 typů a seskupování do instancí 1 třídy • Extrakce popisů bicyklů z heterogenních webových stránek obchodů • 108 dokumentů, 4000 atributů 15 typů včetně 630 obrázků kol • Binární klasifikace obrázků na kolekci 1600 obrázků • Extrakce popisů počítačových monitorů a televizí z web. obchodů • 500 webových stránek s monitory, 60 s televizemi

40. DTD jazyka EOL • Součástí distribuce Ex: • ex/models/eol.dtd

41. Příklady evidence v EOL • Semináře: • Kontakty: • Bicykly:

42. Web 2.0, 3.0... • Web 2.0– existující druhá generace technologií a designu vysoce interaktivních webových stránek a aplikací, často využívající intenzívní komunikaci mezi klientem a serverem a rozsáhlé schopnosti prohlížeče. (volně dle Wikipedie) • pro extrakci z Web 2.0 stránek lze využít API prohlížeče a jeho reprezentaci dokumentu • extrakční ontologie nejsou v principu omezeny na webové stránky, lze je aplikovat na dokumenty bez jakékoliv struktury; na druhé straně je možné využít i jiného hierarchického formátovaní než HTML • Web 3.0– očekávaná další generace „sémantického webu“, kde stroje do určité míry „rozumějí“ jeho obsahu, např. jsou schopny odvozování nad prezentovanými fakty a mohou provádět operace pomocí sémanticky anotovaných webových služeb. • IE obecně je jednou z technik které by mohly „plnit“ potřebné báze znalostí