Een zoeksysteem voor de eigen organisatie: een praktische introductie tot de technologie en het keuzetraject

1. longlist RfQ con tent PvE keuze RFI shortlist PoC test Een zoeksysteem voor de eigen organisatie:een praktische introductie tot de technologie en het keuzetraject Eric SievertsUniversiteitsbibliotheek Utrecht & Instituut voor Media- en Informatie Management (Hogeschool van Amsterdam) Boyd Hendriks Informatieland & TFPL ook met medewerking van: Frank Hofstede Search Expertise Centrum

2. longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test • de meeste organisaties beschikken over grote hoeveelheden aan (digitale) informatie die van levensbelang is voor primair proces en kernactiviteiten van de organisatie (open deur?) © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

3. maar die "content" is niet altijd even toegankelijk voor alle medewerkers die er baat bij zouden hebben

4. longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test • het google -effect • mede dankzij Google is "zoeken" een alomtegenwoordige voorziening geworden • daardoor verwachtingspatroon dat er altijd een zoekvenster zal zijn (the ubiquitous search box) en dat alles te vinden is (ambient findability) • dankzij Google daarbij als randvoorwaarden • een even simpel interface als Google • even makkelijk relevante resultaten te krijgen als met Google © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

5. longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test het is maar de vraag of aan zulke hooggespannen verwachtingen altijd makkelijk kan worden voldaan • een intranet is geen internet • wat op internet werkt (methoden van relevance ranking) hoeft op een intranet nog niet te werken • eisen aan relevantie en volledigheid van zoekresultaten zijn in een werkomgeving anders dan in een consumenten-omgeving © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

6. longlist RfQ con tent PvE keuze RFI shortlist het waarom PoC test uit onderzoek van de Delphi Group (april 2006): • 34% van medewerkers zoekt > 6 uur/week • 42% van medewerkers besteedt > 40% van die tijd aan doorploegen van irrelevante informatie • 67% heeft geen zoekfunctie of heeft vaak vind-problemen; maar 3% zegt: "intranet search is great" • 52% is ontevreden met "search experience" daarom uitdaging voor elke organisaties te zorgen voor: • kwaliteit van het zoekinterface van de organisatie • kwaliteit van de "user experience" © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

7. longlist RfQ con tent PvE keuze RFI shortlist trend PoC test belangrijke trend bij zoeken is op dit moment "integratie" • integratie intranet desktop • integratie intranet internet • integratie desktop activiteiten search © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

8. programma van eisen • request for information • proof of concept doel groep • request for quotation longlist RfQ con tent PvE keuze RFI shortlist PoC test algemeen schema voor keuzetraject = handvat voor verloop van workshop

9. longlist RfQ con tent PvE keuze RFI shortlist waarom zo complex? PoC test zoekmachine-software is zelden kant-en-klaar product, dat gekozen kan worden op basis van een paar productspecificaties en in standaard-configuratie kan worden geïmplementeerd het is "tool", waarbij meestal veel kan worden aangepast aan specifieke eisen van te doorzoeken informatie, aan soort(en) gebruikers en aan gewenste soort toepassing onder die omstandigheden is een gefundeerde keuze niet snel even te maken alleen weten managers dat niet altijd © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

10. longlist RfQ con tent PvE keuze RFI shortlist content als beginpunt PoC test elke organisatie heeft te doorzoeken content • eigen digitaal geproduceerd materiaal • gedigitaliseerd materiaal • ontvangen/aangeschaft digitaal materiaal • .... dat materiaal kan allerlei vormen hebben • word-files • pdf • webpagina's • .... © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

11. longlist RfQ con tent PvE keuze RFI shortlist content als beginpunt PoC test de aard van de content (naar inhoud en naar -technische- vorm) is een belangrijke bepalende factor voor : • hoe je er in wilt (en kunt) zoeken • dus: welke functionele en technische eisen gesteld moeten worden • dus: welke zoeksoftware het meest geschikt is • en hoe die software geconfigureerd moet worden © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

12. longlist RfQ con tent PvE keuze RFI shortlist content als beginpunt PoC test daarom eerst een inventarisatie: wat moet bij u doorzoekbaar worden gemaakt? • (inhoudelijke) aard van het materiaal • gestructureerd in velden of niet? • (ook) metadata aanwezig? • full-text = "veel" tekst? • technische specificaties (pdf, word, html, xml, ....) © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

13. daarom eerst een inventarisatie: wat moet bij u doorzoekbaar worden gemaakt?

14. longlist RfQ con tent PvE keuze RFI shortlist een programma van eisen PoC test wat daar allemaal onder kan vallen • puur functionele eisen • puur technische eisen • organisatorische & leveranciers-eisen • ook al gedetailleerde eisen hoe het er voor de gebruiker moet uitzien? © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

15. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test een paar soorten technische eisen (vanuit ICT-afd.) • operating system en hardware • documentatie en ondersteuning • gebruik van standaards en protocollen • toegankelijkheid en connectivity voor/met andere systemen • ontwikkel-tools • toegang & beveiliging • performance • analyse, monitoring & tuning • out-of-the-box vs. configureerbaarheid • gemak van aanpasbaarheid gebruikersinterface © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

16. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test geheel naar eigen wensen aanpasbaar gebruikersinterface vaak belangrijk • om aan te kunnen passen aan specifieke doelgroep • om aan te kunnen passen aan specifiek type content • om te kunnen aansluiten bij bepaalde uitgangspunten van de organisatie (huisstijl, eenvoud, …) • om geen problemen te ondervinden in geval van "voortschrijdend inzicht" © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

17. voorbeeld: Interface van Utrechts Omega-systeem heeft in eerste versie met nieuwe zoekmachine exact zelfde uiterlijk als het had met vorige zoekmachinesoftware

20. met zelfde content en techniek kan 2de versie een heel nieuw interface krijgen

21. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test eisen aan de leverancier e.d. • betrouwbaarheid en continuiteit • ondersteuning en documentatie • gebruikerstraining • licentie- en tarief-structuur • andere gebruikers © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

22. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test categorieën functionele eisen • indexering • spider • retrieval • zoekfuncties • presentatie van zoekresultaat • feedback mechanismen en vraagverbetering • personalisatie en attenderingsdiensten • …. © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

23. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test zijn alle eisen altijd even belangrijk? als elke eis "hard" is, houd je geen keuze over! oplossing: • geef van elke eis de "status" aan: maak onderscheid tussen "must have" en "nice to have" • nuanceer "nice to have" met gewichtsfactoren • zo kun je afweging van producten "meetbaar" maken • maar: verlies je niet in pseudo-kwantificeerbaarheid © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

24. longlist RfQ con tent PvE keuze RFI shortlist PoC test bijdrage van Boyd Hendriks © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

25. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test opdracht: stel een programma van eisen op, voor een zoeksysteem voor uw eigen organisatie • voor een intranet met documenten en materiaal van de eigen organisatie, of • voor elders digitaal ingekochte content doe dit per groepje met gelijksoortige interesse geef bij elke eis een indicatie van het belang ervan © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

26. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test wat elementen voor in uw programma van eisen: • te indexeren documenttypes • ondersteuning van veldstructuur • "spider" voor (externe) webpagina's • toe te passen zoektechniek (booleaans, best-match, ....) • aan te bieden zoekfuncties (velden, truncatie, fuzzy, ....) • hulp bij vraagverbetering • aanpasbaarheid van interface • personalisatie © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

27. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - indexering / zoeken veel zoekmogelijkheden worden bepaald door de wijze waarop te doorzoeken gegevens worden geïndexeerd eisen dienen niettemin vooral aan de zoekmogelijkheden te worden gesteld, want het is aan de producten om op een slimme manier geschikte indexeermethoden in te zetten om de gewenste zoekfunctionaliteiten te realiseren © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

28. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - zoekmethode afweging tussen klassiek booleaans combineren (architectuur OR bouwkunst) AND (modern OR hedendaags OR 20ste eeuws) AND (nederland OR holland) en best-match zoeken (met "relevance ranking") "hedendaagse nederlandse architectuur" of [more like this] pas op: wens/verwachting van informatie-professional is niet altijd dezelfde als die van de eindgebruiker © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

29. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - zoekmethode • als je "best match" / "probabilistisch" wilt zoeken, moet het dan "all of the terms" of "any of the terms" zijn? • internet met zijn 50 miljard documenten (Google) kiest voor "all of the terms" (impliciet AND) • op intranet met 50.000 (?) documenten misschien liever kiezen voor "any of the terms" (impliciet OR met ranking) o.a. om zoeker geen resultaten te laten missen denk ook hier aan afweging tussen wens/verwachting/belang van informatie-professional en van eindgebruiker © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

30. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen voor relevance ranking? • welke aspecten spelen mee bij ranking? • hoeveel/welke van de zoekwoorden • waar ze voorkomen in document • hun onderlinge positie • eerder zoekgedrag van de gebruiker • documentgewicht • beoordeling hoe goed product dat doet • lastig daarvoor objectieve criteria vast te stellen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

31. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - zoekfunctionaliteit • exact phrase • proximity (nog nodig bij goed ranking techniek?) • word stemming (morfologische varianten; aan/uit zetten) • fuzzy zoeken (hoe "erg", welke techniek) • veld-zoeken • filteren (vooraf) / parametric search (achteraf) op geformaliseerde metadata © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

32. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - automatische "query expansie" vaak via taalafhankelijke taaltechnologie • klassiek "generiek" zoeken bij thesaurus • woorden met zelfde woordstam (regels / uitzonderingen) • fuzzy-varianten (spelling, sound-alike) • inhoudelijk verwante termen (semantisch netwerk) aandacht voor "acceptatie" door gebruiker: • het moet "goed" werken © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

33. semantisch netwerk

34. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen voorbeelden van terugkoppeling en vraagverbetering • op basis van allerlei statistiek op vrije tekst (refine) • op basis van geformaliseerde metadata-velden (parametric search) © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

37. wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen

38. wolk van termen in Aquabrowser: die termen kunnen uit statistische analyse, woordenlijst, thesaurus, semantisch netwerk o.i.d. komen

41. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - presentatie zoekresultaten • terugkoppeling waarop is gezocht • terugkoppeling waarom document is gevonden • welke zoektermen aanwezig zijn • waar ze in document staan (highlighting, KWIC) • ordening van zoekresultaten • relevantie-ordening • ordening op ander element (bijv. datum) • clustering van zoekresultaat • "winkelwagentje" om resultaten te verzamelen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

42. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - personalisatie • persoonlijke attenderingsprofielen • persoonlijke standaard voorselecties • weging van zoekresultaten op basis van eerdere persoonlijke voorkeuren • persoonlijke "boekenplank" © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

43. longlist RfQ con tent PvE keuze RFI shortlist programma van eisen PoC test functionele eisen - indexering • indexering van gewenste documenttypen (html, word, xml, pdf, rdbms, ....) • indexering van velden (xml, field-tags) • specificatie indexeerregels per veld • specificatie indexeerregels per index/deelcollectie • verwerking diacrieten in verschillende codering • toepassing word-stemming • indexeermethode die ranking toestaat © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

44. longlist RfQ con tent PvE keuze RFI shortlist marktverkenning PoC test welke producten komen in principe in aanmerking? samenstellen van een longlist op basis van: • reeds aanwezige kennis • eigen onderzoek • websites met productoverzichten, bijvoorbeeld: http://www.searchtools.com/tools/tools.html • via rapporten en websites van adviesorganisaties als Gartner of Delphi-group • uitbesteden / expert(s) vragen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

45. longlist RfQ con tent PvE keuze RFI shortlist PoC test bijdrage van Frank Hofstede over de markt en aanpak bij een RFI © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

46. longlist RfQ con tent PvE keuze RFI shortlist wat voldoet aan PvE? PoC test hoe kom je erachter welke producten uit je longlist (het best) aan je PvE voldoet? • zelf testen (meestal praktisch onmogelijk) • kijken of ander dat al heeft uitgezocht (onwaarschijnlijk) • leveranciers via RFI vragen uit PvE laten beantwoorden (antwoorden kritisch beoordelen) • op basis van essentiële eisen ("must have") en weegfactoren bij de andere eisen ("nice to have") zo goed mogelijk kwantificeren © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

47. longlist RfQ con tent PvE keuze RFI shortlist de rest van het keuzetraject PoC test programma van eisen long list apr autonomy collexis convera eidetica fast fulcrum google inxight irion northernlight verity k2 verity ultraseek proof of concept request for information short list autonomy irion verity k2 © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

48. longlist RfQ con tent PvE keuze RFI shortlist hoe eindkeuze maken? PoC test van een beperkt aantal best scorende producten (de shortlist) • de RFI-gegevens nog zorgvuldiger analyseren en onduidelijke details daarvan navragen • demonstraties laten geven door leveranciers, op basis van strikte eisen voortkomend uit PvE en RFI • representatieve andere gebruikers bezoeken en bevragen • leveranciers een "proof of concept" laten verzorgen © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

49. longlist RfQ con tent PvE keuze RFI shortlist proof of concept PoC test leveranciers prototypes laten bouwen op basis van de belangrijkste eisen uit jouw specifieke PvE met daarin jouw eigen materiaal, indien: • PvE heel specifieke eigen wensen bevat • geen standaard-implementatie mogelijk lijkt • het om veel gegevens gaat zodat je goed idee krijgt hoe het met die software gaat werken © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric

50. longlist RfQ con tent PvE keuze RFI shortlist proof of concept PoC test in specifieke situatie in Utrecht 3 prototypes • elk met (zelfde) 1 miljoen documenten (10% van collectie) • die moesten voldoen aan belangrijkste functionele eisen uit PvE • gedurende twee weken simultaan uitgeprobeerd en volgens vastgelegd scenario beoordeeld en vergeleken door groep power users (informatiespecialisten die eindgebruikers instrueren en ondersteunen) • nog geen eisen aan gebruikersinterface © eric sieverts e.sieverts@library.uu.nl http://www.library.uu.nl/medew/it/eric