1 / 44

LABORATORIO DI ANALISI AVANZATA DEI DATI

LABORATORIO DI ANALISI AVANZATA DEI DATI. Andrea Cerioli andrea.cerioli@unipr.it Sito web del corso. MISURE DI ASSOCIAZIONE PER APPLICAZIONI DI MARKETING (MARKET BASKET ANALYSIS). Materiali didattici.

merlin
Télécharger la présentation

LABORATORIO DI ANALISI AVANZATA DEI DATI

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. LABORATORIO DI ANALISI AVANZATA DEI DATI Andrea Cerioli andrea.cerioli@unipr.it Sito web del corso MISURE DI ASSOCIAZIONE PER APPLICAZIONI DI MARKETING (MARKET BASKET ANALYSIS)

  2. Materiali didattici • S. Zani – A. Cerioli: Analisi dei dati e data mining per le decisioni aziendali, Capitolo IV • Materiale distribuito a lezione • Dati per esercitazione (v. sito del corso)

  3. CARATTERI QUALITATIVI • Scala nominale (uguale / diverso) • Scala ordinale (migliore / peggiore) • Codifica numerica  solo per memorizzazione delle informazioni • Metodologie differenti rispetto al Data Miningper caratteri quantitativi Esempi: Dati Home Theatre(v. ZC, pp. 7-10 + cap. IV) Indagine su moda e marche (v. ZC, pp. 11-16 + cap. IV) Indagine su pasti fuori casa

  4. Un’altra distinzione importante è tra: • Variabili esplicative caratteristiche dei consumatori. Ad esempio: sesso; corso di studio; preferenze; ecc. • Variabile dipendente (risposta)  vero obiettivo dell’analisi. Ad esempio: pasto in pizzeria si può determinare da quali fattori dipende? Qual è la probabilità che un ragazzo con certe caratteristiche pranzi in pizzeria piuttosto che in un altro locale? Vi possono essere più variabili «dipendenti»: tutte sullo stesso piano  associazione (analogia con correlazione)

  5. ASSOCIAZIONE MARKET BASKET ANALYSIS Obiettivo: evidenziare gruppi di prodotti che tendono a presentarsi insieme in una transazione (“market basket”)  analogia con il “carrello della spesa” Alcune applicazioni: • riorganizzazione lay-out supermercato i prodotti venduti spesso insieme dovrebbero essere posizionati nella stessa zona

  6. aumento efficacia promozioni: prodotti fortemente associati non dovrebbero essere in promozione insieme  la promozione su uno incrementa anche le vendite dell’altro • brand researchtra prodotti associati (ad esempio: latte e biscotti) oppure nel riacquisto del medesimo prodotto: c’è “fedeltà” alla marca? • web mining: relazioni tra le pagine visitate di un sito di e-commerce

  7. Esempio di Market Basket Analysis • Punto vendita della grande distribuzione • Oltre 400.000 osservazioni relative a prodotti appartenenti a 26 classi merceologiche nella categoria alimentare (food) • Ulteriori informazioni: settimana di vendita; prezzo di vendita; eventuali promozioni applicate • Metodologia di rilevazione dati: scanner / codice a barre

  8. Grafo delle associazioni positive(26 prodotti alimentari)

  9. Grafo delle associazioni “fortemente” positive

  10. Grafo delle associazioni “fortemente” positive tra prodotti e promozioni • DISPLAY = promozioni basate su esposizioni preferenziali • GIFT = promozioni tramite regali sulla spesa • CPZO = promozioni di tipo “temporarypricereduction”

  11. Come si misura l’associazione tra due prodotti? • Teoria: ZC: Analisi dei dati e data mining per le decisioni aziendali,cap. IV • Riflessione iniziale: due prodotti, A e B, possono presentarsi insieme “nel carrello” per il solo effetto del caso se l’acquisto di A è indipendente da quello di B: P(A  B) = P(A)  P(B) ovvero P(A | B) = P(A) • A  B = intersezione (A e B si verificano simultaneamente); • A | B = A condizionato a B (A si verifica dopo che si è verificato B) • L’associazione si misura valutando lo scarto tra la probabilità stimata sui dati e quella teorica di indipendenza

  12. TABELLA DI CONTINGENZA nij = frequenza della coppia di modalità Ai e Bj ni• = frequenza marginale di Ai n•j = frequenza marginale di Bj

  13. ESEMPIO (Pasti fuori casa): output SPSS A = Motivazione pasto fuori casaB = Convenienza di prezzo Conteggio = frequenza di casella (nij) Conteggio atteso = frequenze attese se A e B indipendenti

  14. Nella popolazione • Le quantità nella tabella sono ora probabilità ignote: stimate dai dati attraverso le frequenze relative nij/n • Se A e B sono indipendenti: ij = P(Ai Bj) =i••j • La frequenza attesa è n  stima di i••j = n(ni/n)(nj/n) = (ni  nj)/n

  15. Tabella 2  2 A e B  2 prodotti del paniere (items) n11= numero di transazioni in cui A e B sono acquistati insieme n = numero totale di transazioni A e B  2 pagine web (visitate / non visitate)

  16. Odds (quota relativa  linguaggio scommesse) Esempio: pasti fuori casa Quota relativa (odds) di bevitori tra coloro che mangiano in pizzeria: O1= n11/n12 = 44/34 = 1.29 Quota relativa (odds) di bevitori tra coloro che non mangiano in pizzeria: O2= n21/n22 = 67/60 = 1.12 Quota relativa (odds) di bevitori sul totale: OTot= n1/n2 = 111/94 = 1.18 L’oddsNON è stima la probabilità di successo ma il rapporto tra due probabilità (di successo e di insuccesso): varia tra 0 e 

  17. Esiste associazione tra scelta dell’acqua (tra le bevande) e scelta della pizzeria (tra i locali)? Indice di associazione: odds ratio (rapporto dei prodotti incrociati) OR = O1 / O2 = (n11n22) / (n12n21) Nell’esempio: OR = (44 60) / (34 67) = 1.16 Come si interpreta tale valore?

  18. Se le due variabili (scelta dell’acqua e scelta della pizzeria) sono indipendenti ci aspettiamo che approssimativamente: n11 = (n1n1)/n  OR = 1 OR > 1:associazione positiva (relazione diretta)  se un carattere è presente, è relativamente più probabile che anche l’altro lo sia 0 < OR < 1: associazione negativa (relazione inversa)  se un carattere è presente, è relativamente più probabile che l’altro invece non lo sia Perché la relazione è approssimata?

  19. Esempio 2 (Pasti fuori casa) O1 = 15 / 63 = 0.238 O2 = 15 / 112 = 0.134 OR = 0.238 / 0.134 = 1.78  associazione positiva (di intensità maggiore rispetto a quella: pizzeria – acqua)

  20. Una «complicazione» statistica • Indagine sui pasti fuori casa  campione di studenti(n = 205) • Market basket analysis campione di transazioni • Sequenze nella visita ad un sito web  campione di “navigazioni” Le osservazioni disponibili (anche se numerose) fanno riferimento ad un campione problema di inferenza

  21. Inferenza per OR • Obiettivo:estendere la conoscenza da un campione di osservazioni ad una popolazione più ampia (v. esempi)  è un processo che ha a che fare con l’estrazione della conoscenza(fase confermativa, non esplorativa) E se avessimo a disposizione l’intera popolazione? Disporre di campioni molto grandiha anche qualche inconveniente  stima / previsione anziché verifica di ipotesi

  22. Una conseguenza fondamentale Gli indici statistici calcolati sui dati sono una stima di indici analoghi, ma ignoti, della popolazione (parametri) • Ad esempio: • Frequenze osservate nella tabella di contingenza  stima delle ignote frequenze nella intera popolazione •  • ciò spiega perché, se A e B sono indipendenti, la relazione • n11 = (n1n1)/n • vale solo in via approssimata. • Tabella Pizzeria-Coca (Pasti fuori casa): OR = 1.78  stima dell’OR ignoto riferito alla popolazione di tutti gli studenti

  23. Un’altra conseguenza fondamentale Il valore degli indici campionari (ad es. OR) varia da campione a campione  c’è variabilità campionaria Come si misura tale variabilità campionaria? STANDARD ERROR (S.E.) = deviazione standard stimatadella distribuzione campionaria • è calcolato dai software statistici (SPSS) • è inversamente proporzionale a

  24. Intervallo di confidenza •  = generico indice di associazione della popolazione (parametro ignoto). Ad es. = OR • IA = indice di associazione calcolato nel campione (stima di ). Ad es. IA= OR campionario • SE(IA) = standard error di IA • campione di numerosità elevata (ZC, p. 156) 1– = probabilità associata all’intervallo 0.95, 0.99 z() = percentile di N(0, 1)  z(0.05) = 1.96; z(0.01) = 2.58

  25. Esempio: associazione pizzeria-cocaOR  v. “Coeff. di rischio” Ad esempio: 1 –  = 0.95  z(0.05) = 1.96 SE(OR) è calcolato, ma non riportato, da SPSS 

  26. Interpretazione • Intervallo che con probabilità 1 –  contiene l’ignoto valore del parametro della popolazione nell’esempio il vero ORè compreso con probabilità 0.95 tra 0.815 e 3.876 • Se le variabili sono indipendenti(nella popolazione):  = 1  poiché tale valore è interno all’intervallo, non si può escludere che il valore 1.778 calcolato nel campione sia dovuto solo alle “fluttuazioni campionarie” e che il “vero” ORsia realmente 1  l’associazione (positiva) osservata nel campione non è significativa • Ad una conclusione analoga si perviene anche attraverso la verifica dell’ipotesi nulla: H0: OR= 1  p-value elevato

  27. Esempio(continua): rischio relativo • Rischio relativo (RR) • per coca=sì  RR1 = (15/78) / (15/127) = 0.192/0.118 = 1.628 • per coca=noRR2 = (63/78) / (112/127) = 0.808/0.882 = 0.916 • Entrambi gli intervalli per RR comprendono il valore 1 (indipendenza) • OR = RR1/RR2 = 1.628/0.916 = 1.78 • RR richiede però che i totali di riga (PIZZERIA) siano fissati

  28. Possiamo ora comprendere meglio i grafi di associazione(v. esempio di Market Basket Analysis) Associazione “fortemente” positiva: relazioni il cui intervallo di confidenza per OR comprende solo valori > 5  con probabilità elevata, nella popolazione di tutte le transazioni, OR > 5

  29. Una (seconda) complicazione statistica • La dicotomia sì / no, acquista / non acquista … spesso trascura informazioni importanti ad esempio: motivazioni, caratteristiche personali, preferenze personali, ecc. • Le informazioni precedenti possono essere su una scala ordinale (v. indagine pasti fuori casa)  Caso 1: Indici di associazione per variabili nominali Caso 2: Indici di associazione per variabili ordinali (v. SPSS)

  30. Associazione tra variabili nominali Tabella di contingenza: MOTIVAFC - CONVPREZ

  31. Chi quadrato(ZC, pp. 112 – 117) mij = (ni•n•j)/n  frequenze attese (se A e B indipendenti) Test di significativitàdell’associazione: calcolo p-value(quale distribuzione?) • Phi, V di Cramer, Coeff. di contingenza  indici di associazione(simmetrici) ottenuti da X2 • Il più utile è V=X2/min(r-1,c-1) varia in [0, 1]

  32. Indici con interpretazione operativa(ZC, pp. 117 – 126) Misure di direzione indici asimmetrici • Lambda riduzione proporzionale nella probabilità dell’errore di previsione (P.R.E.), conoscendo la modalità della variabile esplicativa • Tau di G. & K.  riduzione proporzionale nell’incertezza (misurata attraverso l’eterogeneità) • Coeff. di incertezza  riduzione proporzionale nell’incertezza (misurata attraverso l’entropia) • Tali indici variano tra 0 e 1: • 0 la variabile esplicativa non aumenta l’informazione • 1 la variabile esplicativa consente di prevedere esattamente la variabile dipendente • Gli indici 2 e 3 sono interpretabili come un’estensione di R2 della regressione

  33. Associazione tra variabili ordinali Tabella di contingenza: CONVPREZ – QUALITA’

  34. Gamma, Tau di Kendall (simmetrici), D di Somers (asimmetrico)  indici di concordanza • Misurano una particolare forma di associazione tra caratteri ordinali: relazione monotona • Variano in [-1, +1] segno dell’associazione • Gamma è il più semplice: proporzione di coppie “concordanti” – proporzione di coppie “discordanti” • coppia concordante= l’unità che ha la modalità più elevata su una variabile ha la modalità più elevata anche sull’altra • Gli indici differiscono tra loro per come trattano le coppie “a pari merito” (cioè con lo stesso livello di una o di entrambe le variabili); Gamma ha un valore solitamente più elevato • Tau-b è assimilabile ad un coefficiente di correlazione, D al coefficiente angolare di una retta di regressione

  35. Si possono applicare all’esempio precedente gli indici per variabili nominali? In questo caso, gli indici per variabili nominali forniscono misure più basse e solo marginalmente significative  l’ordine tra le modalità è importante per focalizzare il tipo di associazione (monotona)

  36. Data Mining aziendale • Nella Market Basket Analysis (numero di items molto elevato) non interessano solo le associazioni a coppie associazioni a terne, quaterne, ecc. • Regole di associazione individuano insiemi di items (di numerosità variabile e non noti a priori) associati tra loro: insiemi che compaiono spesso insieme nel “carrello” (frequent sets) • Applicazioni a variabili binarie: presente / non presente nel “carrello” • Estensione anche a situazioni diverse: ad esempio, variabili nominali  come? (variabili indicatrici)

  37. Dati kitems (binari) A1, A2, … Ake n transazioni • n11…1 = numero di transazioni in cui tutti gli items sono acquistati congiuntamente • p11…1 =n11…1/n = frequenza relativa di transazioni in cui tutti gli items sono acquistati congiuntamente Supporto della regola che associa gli items: S(A1, A2, …, Ak) • Il supporto è una stima di P(A1, A2, …, Ak) probabilità di osservare congiuntamente tutti gli items in un “carrello” casuale • Due gruppidi items: G1 = “antecedente”; G2 = “conseguente”

  38. Predittabilità (accuratezza, confidenza) della regola di associazione: C(G1G2)=S(G1, G2) / S(G1) Stima della probabilità condizionataP(G2/G1) • Lift della regola di associazione: L(G1G2) =C(G1G2)/S(G2) = S(G1, G2)/[S(G1)S(G2)] Stima della misura di associazione(Tab. 22): P(G1G2)/[P(G1)P(G2)] • Se G1 e G2 sono indipendenti, tale misura è 1 si può calcolare l’intervallo di confidenza(di livello 1-) per L e vedere se esso contiene il valore 1

  39. Esempio (indagine pasti fuori casa) • Insieme di 3 items: Primi – Carne – Dolce • variabili binarie: spesso / sempre – mai / quasi mai Supporto della regola di associazione: S = 37/205 = 0.18 G1 = Primi  Carne S = (37+32)/205 = 0.34; G2 = Dolce S = (46+54)/205 = 0.49 Predittabilità (Primi  Carne  Dolce): C= 0.18 / 0.34 = 0.53 Lift: L = 0.53 / 0.49 = 0.18 / (0.340.49) = 1.08 > 1  associazione positivatra i 3 items

  40. Applicazioni di Market Basket Analysis • Numero di items molto elevato: quante e quali sono le associazioni rilevanti? • Algoritmi veloci per individuare tutti i possibili gruppidi itemsassociati: regole di associazione • Algoritmo aggregativo di tipo gerarchico (Apriori): • si fissa una soglia per il supporto • si scelgono gli items (singoli) con supporto > soglia • dati gli items selezionati al punto 2, si considerano le coppie (associazioni) con supporto > soglia • dati gli items selezionati al punto precedente, si itera la procedura  aggregazioni successive di items (terne, quaterne, …) finché si trovano associazioni con supporto > soglia • varianti in cui si considera anche la predittabilità http://fuzzy.cs.uni-magdeburg.de/~borgelt/doc/apriori/apriori.html

  41. Un esempio di Market Basket Analysis(v. file: basket analysis.sav) • 371 clienti Conad Card (Conad Le Querce – RE) • self scanning • dati riferiti ad una giornata • informazioni socio-demografiche (fidelity card): sesso, età, titolo di studio, ecc. • 25 categorie di prodotto • Quali sono le associazioni rilevanti (co-presenza delle categorie)?

  42. Ad esempio: • Supporto della regola di associazione: S = 65/371 = 0.175 • Odds ratio: OR = (65133)/(11558) = 1,3  associazione positiva tra le 2 categorie • Predittabilità (Forno  Gastronomia): • C = (65/371)/(180/371) = 0.175 / 0.485 = 0.36 • Predittabilità (Gastronomia  Forno): • C = (65/371)/(123/371) = 0.175 / 0.332 = 0.53  nel 53% dei casi chi compra dal banco gastronomia compra anche dal banco forno • Lift: L = 0.175 / (0.4850.332) = 1.09 > 1

  43. Conclusioni sulla Market Basket Analysis Le “regole di associazione” sono molto utilizzate e sono state una delle applicazioni di maggiore successo del Data Mining semplicità; informazioni di rilievo e facilmente interpretabili in azienda Inconveniente: il focus è sulle regole con supporto elevato (items più venduti)  associazioni con elevata predittabilità / lift ma supporto limitato (items poco frequenti) possono non essere rilevate. Ad esempio: vodka  caviale (prodotto con supporto molto piccolo) Inoltre il risultato finale dipende dalla soglia prescelta

  44. Assignments sulla Market Basket Analysis • Analisi dettagliata delle associazioni (indici + regole) stimate dai dati del file: basket analysis.sav • Analisi dettagliata delle associazioni (indici + regole) stimate dai dati del file: : CharlesBookClub_Dati.xls  acquisti di differenti tipologie di libri attraverso un distributore (Charles Book Club) specializzato in marketing diretto • Analisi dettagliata delle associazioni (indici + regole) stimate dai dati del file: : CatalogCrossSell.xls  acquisti in differenti cataloghi di vendita • Approfondimento dell’algoritmo Apriori e uso dell’algoritmo in uno dei problemi precedenti.

More Related