1 / 25

Effectmeting van onderwerpsontsluiting

Effectmeting van onderwerpsontsluiting . Henk Voorbij NVB 5 april 2007. Aard onderzoek: vergelijking. Gecontroleerde ontsluiting vs free text Titelwoorden Titelwoorden + verrijkingstermen Full text Handmatige ontsluiting vs automatische ontsluiting

casimir-lel
Télécharger la présentation

Effectmeting van onderwerpsontsluiting

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Effectmeting van onderwerpsontsluiting Henk Voorbij NVB 5 april 2007

  2. Titel van de presentatie Aard onderzoek: vergelijking • Gecontroleerde ontsluiting vs free text • Titelwoorden • Titelwoorden + verrijkingstermen • Full text • Handmatige ontsluiting vs automatische ontsluiting • Ontsluiting op woorden vs afgaan op citaten

  3. Titel van de presentatie Methoden • 1. Verrijking boektitels • 2. Zoekresultaten op trefwoorden • 3. Zoekresultaten op daadwerkelijke zoektermen • 4. Zoekacties door experts, onderwerp afh checklist • 5. Zoekacties door experts, onderwerp eigen keuze • 6. Zoekacties door gebruikers

  4. Titel van de presentatie Methode 1: verrijking boektitels • Onderzoek HV 1997 • 475 boektitels alfa- gamma • Beoordeling door vakreferenten • Verrijking alfa: 40,7% duidelijk; 11,6% enigszins; 47,7% niet • Verrijking gamma: 29,1% duidelijk; 13,1% enigszins; 57,8% niet

  5. Titel van de presentatie Functies onderwerpsontsluiting • Inhoudelijke verrijking van titels ( recall) 2. Groeperen van synoniemen en termen in andere talen onder een ingang (  recall) 3. Zoekleiding, suggereren van gerelateerde zoektermen ( recall) 4. Tegengaan van irrelevante treffers (  precisie)

  6. Titel van de presentatie Methode 2: zoekresultaten op trefwoorden • Index trefwoorden scannen  steekproef • Vb: Golfoorlog (1991), 47 treffers • Beoordeel per treffer mate van verrijking tov titel ( functie 1) • Beoordeel per treffer of deze vindbaar zou zijn zonder trefwoorden ( functie 2)

  7. Titel van de presentatie Voorbeelden titels golfoorlog * Arab storm : politics and diplomacy behind the Gulf War* Öffentliche Meinung in der Sicherheitspolitik : Untersuchung am Beispiel der Debatte über einen Einsatz der Bundeswehr im Golfkrieg* Bagdad onder embargo * Kuwaiti resistance as revealed by Iraqi documents* Geef oorlog een kans: ooggetuigenverslagen van de strijd der mensheid tegen tirannie, onrecht en alcoholvrij bier

  8. Titel van de presentatie Methode 3: zoekresultaten op ‘alle woorden’ • Gross en Taylor (2005), Univ of Pittsburgh • TA van ‘keyword searches’. Vb: metal and sculpture • .. in keyword 19 hits • .. in subject 10 hits • .. in subject NOT .. in title NOT .. in series NOT .. in author name NOT .. in publisher name 7 hits • Meerwaarde trefwoorden: 7 / 19 = 36,8% • G&T: 186 zoekacties, meerwaarde 35,9%

  9. Titel van de presentatie Voorbeeld titel alleen vindbaar op trefwoord • Title:Picasso and the age of iron / curated by Carmen Giménez ; essays by Dore Ashton, Francisco Calvo Serraller. • Publisher:New York, N.Y. : Guggenheim Museum, 1993. • LC Subject Heading(s): • Picasso, Pablo, 1881-1973 --Influence --Exhibitions. • Metalsculpture --Exhibitions. • Sculpture, Modern --20th century --Exhibitions. • Art, Modern --20th century --Exhibitions. • Modernism (Art) --Exhibitions.

  10. Titel van de presentatie Replicatie HV

  11. Titel van de presentatie Analyse 55 treffers op keyword • Redenen groter aantal hits: • Uitbreiding UB met vier regionale campus bibliotheken • Toevoeging samenvatting (boekomslag) en inhoudsopgaven •  veel ruis, lagere precisie

  12. Titel van de presentatie Voorbeeld ruis • Title:Jazz modernism : from Ellington and Armstrong to Matisse and Joyce / Alfred Appel, Jr.Author:Appel, Alfred. • LC Subject Heading(s):Jazz --History and criticism.Music and literature --History --20th century.Art and music --History --20th century. • Summary: "How does the jazz of Louis Armstrong, Duke Ellington, Fats Waller, Billie Holiday, and Charlie Parker fit into the great tradition of the modern arts between 1920 and 1950? ….. Alfred Appel … makes clear how Armstrong and Waller tore apart and rebuilt Tin Pan Alley material in the way that modernists in the visual arts arrived at wood assemblage and scrap-metalsculpture.."--BOOK JACKET.

  13. Titel van de presentatie Trefwoorden in een fulltext omgeving • Garrett (2007). Verrijking van 50.000 van 150.000 ECCO titels met trefwoorden door matching met WorldCat • Full text search ‘hygiene’ in 150.000 titels: 50 hits • Subject search ‘hygiene’ in 50.000 titels: 60 hits •  lang niet alle boeken bevatten termen die inhoud van hele boek goed weergeven •  verschil terminologie 21e eeuw en 18e eeuw

  14. Titel van de presentatie Methode 4: zoekvragen aan de hand van checklist • Zoekvragen • Resultaat: .. Relevante treffers • Score: recall en precisie

  15. Titel van de presentatie Criteria: recall en precisie • Bestand: 200 documenten, waarvan 10 over gezocht onderwerp en 190 niet • Zoekactie gebruiker: 12 treffers, waaronder 6 relevante

  16. Titel van de presentatie Resultaten •  Recall = 6/10 = 60% •  Precisie = 6/12 = 50%. • Recall = vangst, baten, effectiviteit • Precisie = ruis, kosten. efficiëncy

  17. Titel van de presentatie Onderzoek Lancaster 1993 • 51 vakbibliografieën • Uitgekleed: geen artikelen, geen boeken niet in bezit van UB Illinois, geen boeken die slechts zijdelings van belang zijn • Zoekacties door experts op LCSH • Daadwerkelijke recall slechts 54% • Theoretisch haalbare recall slechts 62%

  18. Titel van de presentatie Methode 5: Zoekvragen naar eigen keuze • Onderzoek HV 1997 • 25 zoekvragen vakreferenten • Totaal aantal unieke treffers 307 (100%) Treffers op titelwoorden 148 (48,2%) Treffers op trefwoorden 267 (86,9%) • Gevonden op alleen titelwoord 40 (13,0%) Gevonden op alleen trefwoord 159 (51,8%) Gevonden op beide ingangen 108 (35,2%)

  19. Titel van de presentatie Methode 6: zoekvragen gebruikers • Determinanten zoekresultaat • SYSTEEM • Kwaliteit ontsluiting • Presentatie trefwoorden, interface   • GEBRUIKER • Domeinkennis onzuiver • Systeemvaardigheden onzuiver interessant • Behoeften interessant

  20. Titel van de presentatie Gebrekkige interface • Eerste ingang: scannen index • Vervolgactie: doorzoeken vanuit treffer  similar pages, find more like this • Vervolgactie: thesaurusstructuur: BT, RT, NT • Geen grafische interface • Geen clustering, vgl Vivisimo

  21. Titel van de presentatie Voorbeeld clustering • Zoekactie: trefwoord Golfoorlog (1991)  47 hits • Titels verspreid over 14 BC-codes • * 15.75 Geschiedenis van Azië 28 • * 15.50 Algemene wereldgeschiedenis 6 • * 15.85 Geschiedenis van Amerika 2 • * 89.72 Internationale organisaties 2 • * 89.75 Internationale conflicten 2 • * 89.77 Bewapening, ontwapening 2 • * 89.90 Buitenlandse politiek 2 • * 05.33 Journalistiek 1

  22. Titel van de presentatie Inzicht in systeemvaardigheden • Stap 1: zoekactie gebruiker eigen onderwerp  usability onderzoek • Stap 2: • herhaling zoekactie door expert mbv trefwoorden • beoordeling van relevantie van extra treffers door gebruiker  gebruiker heeft beter inzicht in effect trefwoorden

  23. Titel van de presentatie Inzicht in behoeften • Gewenste recall: een of enkele titels vs compleet overzicht?  Thomas Mann, LJ july 15, 2005 • Relevantie: welke andere criteria naast onderwerp? • Aanvullende bronnen: recensies, uitgeversbestanden, citaatindexen etc • Analyse per doelgroep: vakgebied, status

  24. Titel van de presentatie Interpretatie resultaat • Kosten – baten afweging • Bibliotheek: kosten, potentiële meerwaarde • Gebruiker: daadwerkelijke meerwaarde

  25. Titel van de presentatie

More Related