1. Gepersonaliseerde en contextafhankelijke profielen op Android mobiele toestellen Pieter Van Lysebetten, Sam Govaert Promotor: prof. dr. ir. Filip De TurckBegeleiders: Philip Leroux, Klaas Roobroeck Vakgroep Informatietechnologie – IBCN

2. Overzicht • Situering • Probleemstelling • Doelstelling • Methodologie • Raamwerk • Evaluatie • Demo • Conclusie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

3. Overzicht • Situering • Probleemstelling • Doelstelling • Methodologie • Raamwerk • Evaluatie • Demo • Conclusie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

4. Probleemstelling • Groot aantal applicaties • Breed gamma aan applicaties op Android OS • Gebruikers kunnen zelf applicaties downloaden • Web 2.0  zelf apps ontwikkelen en verdelen  duizenden apps beschikbaar op het net Thesisbespreking – Sam Govaert, Pieter Van Lysebetten Vakgroep Informatietechnologie – Onderzoeksgroep (naam)

5. Probleemstelling • Vaak contextafhankelijk • Plaatsafhankelijk • AlarmClock  slaapkamer • Mappy  auto, trein • Tijdsafhankelijk • QuickOffice tijdens werkuren • Youtube avond, weekend • Persoonsafhankelijk • Mail, QuickOffice zakenman • Facebook, Youtube student Thesisbespreking – Sam Govaert, Pieter Van Lysebetten Vakgroep Informatietechnologie – Onderzoeksgroep (naam)

6. Probleemstelling • Contacten ook contextafhankelijk • Plaatsafhankelijk • Collega’s en klanten  op het werk • Familie en vrienden  thuis, op cafe • Tijdsafhankelijk • Collega’s en klanten  tijdens de werkuren • Familie en vrienden  avond, weekend  “Profiel”-afhankelijk • Collega’s en klanten  werk • Familie en vrienden  thuis, op kot Thesisbespreking – Sam Govaert, Pieter Van Lysebetten Vakgroep Informatietechnologie – Onderzoeksgroep (naam)

7. Probleemstelling • Data bevat meer semantiek dan we denken • Verschillende relaties tussen attributen (applicatie, plaats, tijd, snelheid, enz.) • Doelstelling • Voorstellen van een raamwerk voor gepersonaliseerde en contextafhankelijke profielen • Ontdekken van profielen • Ontdekken van structuren, patronen en verbandenin het gebruik van applicaties en contacten Thesisbespreking – Sam Govaert, Pieter Van Lysebetten Vakgroep Informatietechnologie – Onderzoeksgroep (naam)

8. Doelstelling • (1) Ontdekken van profielen • Gepersonaliseerd en automatisch herkend • Bvb voor een kotstudent: thuis, kot, school, trein • Op basis van contextuele parameters • Thuis: vaste locatie, lage verplaatsingssnelheid, ... • Trein: eerder een bewegingsfunctie, hoge snelheid, ... • Herkennen van profieleigenschappen • Bvb typische locatie, gemiddelde snelheid, ... • Instellen van profielopties • Bvb geluidsmodus (normaal, stil, enkel trillen, ...)

9. Doelstelling • (2) Ontdekken van patronen en verbanden • Applicaties die vaak samen gebruikt worden • Bvb Twitter en Facebook, GPS en Weer • Patronen in het applicatiegebruik: • Tijdspatronen, plaatspatronen, snelheidspatronen, ... • Vb tijdspatroon: vaak rond 20u op Facebook • Patronen afhankelijk van meerdere parameters • Bvb: zetten van de alarmklok voor slapengaan • Tijdsafhankelijk? Plaatsafhankelijk? ...  Combinatie van tijd, plaats, snelheid, ... • Verbanden: na applicatie X vaak applicatie Y

10. Overzicht • Situering • Probleemstelling • Doelstelling • Methodologie • Raamwerk • Evaluatie • Demo • Conclusie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

11. Methodologie • Onderzoeksdomeinen • Data Mining • Clustering / Custer Analysis • Neurale Netwerken • Support Vector Machines • Association Rules • Decision Trees • Adaptive Resonance Theory (ART) • Feature Discovery (Competitive Learning) • Artificial Intelligence (AI) • Rule based systems Thesisbespreking – Sam Govaert, Pieter Van Lysebetten Vakgroep Informatietechnologie – Onderzoeksgroep (naam)

12. Methodologie: technieken • Evaluatie van Clustering-algoritmes • Zoeken van locatieclusters, snelheidsclusters, … • 2 overwegingen • Dient te werken voor verschillende topologieën • Aantal clusters vooraf niet bekend (gepersonaliseerd) • K-Means Clustering vereist aantal (=K) Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

13. Methodologie: technieken • Evaluatie van Clustering-algoritmes • Competitive Networks • Niet in staataantal clusters zelftebepalen • ART Networks • Wel in staataantal clusters zelftebepalen • ART1 vrijprimitief en nietgeschiktvooronsdoel • Weinig info over andere ART-modellen • Expectation-MaxizationAlgoritme • Meer geschiktvooronzedoelstelling • Aantalprofielenvoorafnietbekend (gepersonaliseerd) • K-Means Clustering vereistaantal (=K) Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

14. Methodologie: technieken • Expectation-Maximization Algoritme • Gaussiaanse distributie (normaalverdeling) • In kansrekening vaak gebruikt als eerste benadering • Parameters van normaalverdeling worden geschat • op basis van maximum likelihood • Clusters van zeer uiteenlopende vormen ontdekken • Aantal clusters wordt automatisch gezocht • Dient niet vooraf opgegeven te worden • Verschillende Java frameworks te vinden • Weka, OpenRDS, Shoal • Gekozen voor Weka (meest gebruikt) Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

15. Methodologie: technieken • Expectation-Maximization Algoritme • Voorbeeld Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

16. Methodologie: technieken • Expectation-Maximization Algoritme • Voorbeeld Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

17. Methodologie: technieken • Verwantschapsanalyse (associatieregels) • Zoeken van allerleicorrelatiestussenvariabelen • Vbsupermarkt: {boter, brood}  melk • Zoeken van zoveelmogelijkverbanden in data • {Werk, Maandag, 15u}  QuickOffice • Probleem: werkt met discrete waarden • Tijd: 13u55 ≈ 14u00 ≈ 14u05 ... • Lengtegraad, breedtegraad en snelheid ook continu • Oplossing: clustering als voorbewerking Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

18. Methodologie: aanpak • Ontdekken van clusters en profielen • Eerstevoorbewerking op data • Enigestructuurvinden in ongestructureerde data • Doel • Voorbewerkingvoor het zoeken van patronen in het gebruik van applicaties en contacten • Levert de persoonlijkeprofielen op • Ontdekken van patronen en verbanden • Op basis van de gevonden clusters en profielen • Dmv 3 classificatie-algoritmes Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

19. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

20. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

21. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

22. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

23. A. Clustering en profielgeneratie • Eerste-niveau clustering: attribuutlocatie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

24. A. Clustering en profielgeneratie • Eerste-niveau clustering: attribuutlocatie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

25. A. Clustering en profielgeneratie • Eerste-niveau clustering: attribuutlocatie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

26. A. Clustering en profielgeneratie • Eerste-niveau clustering: attribuutlocatie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

27. A. Clustering en profielgeneratie • Eerste-niveau clustering: attribuutlocatie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

28. A. Clustering en profielgeneratie • Eerste-niveau clustering: weekdag, snelheid Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

29. A. Clustering en profielgeneratie • Eerste-niveau clustering: tijd Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

30. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributencombineren Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

31. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributencombineren Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

32. A. Clustering en profielgeneratie • Eerste-niveau clustering: profielen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

33. A. Clustering en profielgeneratie • Eerste-niveau clustering: attributen • Tweede-niveau clustering: applicaties • We beschouwenapplicatiestussen twee standby-operatiesalseen cluster Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

34. B. Ontdekken van patronen • Classificatie • “Training” op basis van ‘getransformeerde’ data • Clusters • Attribuutclusters en applicatieclusters • Profielen • Clusters over alle attributen samen • Recent geopende applicaties  “Testing” ahv 3 classificatie-algoritmes • Elk algoritme levert een rangorde van applicaties op basis van huidige gegevens op Android-toestel • Tijdstip, weekdag, plaats, actieve applicaties,... Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

35. B. Ontdekken van patronen ASSOCIATIE- REGELS INTRACLUSTER-CORRELATIE GRAFEN-ALGORITME PROFIELAFHANKELIJKEPATRONEN + profieleigenschappen(gemiddelde snelheid, ...) STATISTISCHALGORITME KORTETERMIJN-GEHEUGEN Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

36. B. Ontdekken van patronen ASSOCIATIE- REGELS GRAFEN-ALGORITME STATISTISCHALGORITME Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

37. B. Ontdekken van patronen ASSOCIATIE- REGELS applicatiekansen applicatiekansen GRAFEN-ALGORITME applicatiekansen STATISTISCHALGORITME Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

38. B. Ontdekken van patronen ASSOCIATIE- REGELS applicatiekansen applicatiekansen Classificatie-functief() GRAFEN-ALGORITME applicatiekansen STATISTISCHALGORITME Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

39. B. Ontdekken van patronen ASSOCIATIE- REGELS applicatiekansen applicatiekansen Classificatie-functief() GRAFEN-ALGORITME bvb: max of gewogen som applicatiekansen STATISTISCHALGORITME Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

40. B. Ontdekken van patronen ASSOCIATIE- REGELS applicatiekansen applicatiekansen Classificatie-functief() GRAFEN-ALGORITME totaleapplicatiekansen bvb: max of gewogen som applicatiekansen STATISTISCHALGORITME Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

41. Overzicht • Situering • Probleemstelling • Doelstelling • Methodologie • Raamwerk • Evaluatie • Demo • Conclusie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

42. Raamwerk • Evaluatie performantie van de technieken • Clustering (Expectation-Maximization via Weka) • Zeer veel data te analyseren • Eerst een tweetal weken trainingsdata verzamelen • Meerdere attributen (tijd, plaats, ...) • Meerdimensionale attributen • Locatie is tweedimensionaal • Profiel is vijfdimensionaal! • Sommige attributen bevatten weinig structuur • Bvb tijdstip • Vertraging van het clusteralgoritme • Algoritmes veel te zwaar voor het mobiel toestel • Client-Server Architectuur Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

43. Raamwerk • Onderzoek op Android • Weka-library initieel geporteerd voor Android • Problemen met externe libraries op Android • Android heeft eigen virtuele machine (Dalvik) • Vooral problemen met GUI-elementen • Weka-library geporteerd • Web services • Vergelijking tussen REST en SOAP • REST flexibeler en performanter • Google heeft gebruik van SOAP stopgezet  Gekozen voor REST Thesisbespreking – Sam Govaert, Pieter Van Lysebetten Vakgroep Informatietechnologie – Onderzoeksgroep (naam)

44. Raamwerk • Client-Server Architectuur • Android Client • Service • Monitoren van gegevens op toestel • (Intern) opslaan van de getrackte gegevens • Communicatie met de server • Events (bvb aanbevelingen) naar widget sturen • Widget • Visualiseren van informatie • Applicaties, contacten, profieleigenschappen • Profieleigenschappen opgeslagen op SD-kaart Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

45. Raamwerk • Client-Server Architectuur • Server • Clustering • Classificatie • Associatieregels • Profielvenster (grafenalgoritme) • Kortetermijngeheugen • Communicatie tussen client en server • REST web services • Spring Android REST Template Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

46. Overzicht • Situering • Probleemstelling • Doelstelling • Methodologie • Raamwerk • Evaluatie • Demo • Conclusie Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

47. Evaluatie • Testopstelling • Modelling Tool • Modelleren van het applicatiegebruik van een persoon • Bouwblokken met verschillende eigenschappen • Coördinaten • Applicatieprobabiliteiten • Patronen in het applicatiegebruik • Realistische afwijkingen (random-factor) • Model wordt dan vertaald naar ARFF-dataformaat • Eigen metriek (NIP) • Ahv true positives en false negatives • Geoptimaliseerd zodat een random recommenderaltijd een metriek van 0% oplevert Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

48. Evaluatie • Resultaten • Vergelijking tussen recommenders Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

49. Evaluatie • Resultaten • Vergelijking tussen recommenders • Associatieregels op zich reeds goede resultaten • Meeste patronen uit Profielvenster zullen hier ook gevonden worden • Profielvenster wel zeer bruikbaar voor de profielen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN

50. Evaluatie • Overige uitgevoerde testen • Korte evaluatie van de profielherkenning • Enkele eenvoudige case studies • Performantie van de serverdiensten • Performantie van de Android client • Vertragingen op GUI-niveau • Batterijverbruik • Netwerkbelasting tussen client en server • Associatieregels op zich reeds goede resultaten • Meeste patronen uit Profielvenster zullen hier ook gevonden worden • Profielvenster wel zeer bruikbaar voor de profielen Thesisverdediging– Pieter Van Lysebetten, Sam Govaert Vakgroep Informatietechnologie – IBCN