1 / 101

Analisi dei Dati Università Carlo Cattaneo Emanuele Borgonovo

Analisi dei Dati Università Carlo Cattaneo Emanuele Borgonovo. Capitolo I. Introduzione. Processo Stocastico: un processo stocastico è un processo che è costituito da eventi la cui realizzazione non è deterministica, ma caratterizzata da incertezza

Télécharger la présentation

Analisi dei Dati Università Carlo Cattaneo Emanuele Borgonovo

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Analisi dei DatiUniversità Carlo CattaneoEmanuele Borgonovo

  2. Capitolo I

  3. Introduzione • Processo Stocastico: un processo stocastico è un processo che è costituito da eventi la cui realizzazione non è deterministica, ma caratterizzata da incertezza • Esempio: i tempi di arrivo dei clienti in un grande centro commerciale o il numero di clienti che arriva al centro commerciale nell’intervallo dt attorno al tempo t.

  4. Elementi introduttivi di Teoria della Probabilità

  5. Probabilità • E’ possibile definire la Probabilità? • Sì, ma ci sono due scuole • La prima dice che la probabiltà è una porprietà oggettiva degli eventi (Scuola Frequentista) • La seconda dice che la Probabilità è una misura “soggettiva”della verosimiglianza degli eventi (De Finetti)

  6. Gli Assiomi di Kolmogorov U B A

  7. C A B D E Aree e rettangoli? • Supponete di saltare dentro U a caso. Chiamate P(A) la probabilità di saltare in A. Quanto vale? • Sarà l’area di A diviso l’area di U: P(A)=A/U • In questo caso P(U)=P(A)+ P(B)+ P(C)+ P(D)+ P(E) U

  8. Legge della somma delle probabilità • Dati n eventi non mutuamente esclusivi, in generale la probabilità dell’unione di detti n eventi sarà la somma delle probabilità degli eventi singoli, cui si sottrarrà la somma delle probabilità delle doppie intersezioni, si sommeranno le probabilità delle triple intersezioni e così via. • In termini di aree

  9. Legge della somma delle probbilità in termini di aree U • 2 eventi • 3 eventi B AB A U B C AB A

  10. A4 A3 A1 A2 IL teorema della probabilità Totale U • Teorema probabilità totale: dati N eventi mutuamente esclusivi (A1, A2,…,AN) e esaustivi, la probabilità di un altro evento E in U è data da: E

  11. Esempio • Ad una lotteria, si gioca con una scatola che contiene cappelli eleganti e sportivi in egual proporzione. Il gioco è il seguente. Si estrae un cappello. Se è elegante si ha diritto a tirare una moneta. Se esce testa, si estrae un altro cappello. Non si ha diritto ad altre estrazioni. Qual è la probabilità di vincere due cappelli eleganti? • Soluzione: Applichiamo il teorema della probabilità totale a P(2 cappelli eleganti): • P(2 cappelli eleganti)=P(II cap. el.|1 estrazione)*P(1estrazione)+P(II cap. el.|II estrazione)*P(II estrazioni). • Chiaramente P(2 cappelli|1 estrazione)=0, quindi: • P(II cappelli elegante)=P(II cap. el.|II estrazione)*P(IIestrazione). • P(II estrazione)= P(II estrazioni|I sprt)*P(I sprt)+P(II estrazione|I eleg)*P(I eleg) • Ora: se il primo è sportivo non si ha diritto a seconda estrazione. • Osserviamo poi che: P(II estrazione| I eleg)= P(testa) =1/2 • Quindi: P(II estrazione)=1/2·1/2=0.25 • Inoltre: P(II cap. el .)=P(II cap. el.|II estrazione)*P(II estrazione)=1/2*0.25=0.125 • Per esercizio calcolare: • La probabiltà di uscire con un cappello • La probabilità di uscire con un cappello elegante e con uno sportivo • Ripetere gli stessi calcoli se I cappelli sono in proporzione 2/3 sportivi/eleganti

  12. Esercizio • Entrare. Dato che entra (Entra) dice entra 0,95. Dato non entra, dice non entra 0,90. • P(E)=0,7. • P(DiceE)=P(DiceE|E)*P(E)+P(DiceE|NE)*P(NE)=0,95*0,7+0,1*0,3=0,695 • P(DiceE|NE)=1-P(DiceNE|NE)=1-0,9=0,1

  13. Funzione di Partizione • La funzione di partizione (cumulative distribution) di una variabile casuale risponde alla definizione di essere la probabilità che il valore della variabile casuale sia inferiore ad un valore di riefrimento. • Scriviamo: FX(x)=P(X<=x) • Per una variabile discreta: • Per una variabile continua deve esistere una funzione f(u) tale che: • La funzione f(u) è detta densità di probabilità di X

  14. Relazione tra F(x) ed f(x) • Se f(x) è continua, allora vale: • Esempio. Sia 0<T< una variabile casuale caratterizzata da una distribuzione esponenziale, ovvero f(t) dt=e- tdt è la probabilità che T abbia un valore compreso tra t e dt. • Qual è la probabilità che T<t? Soluzione • P(T<t)=F(t)=

  15. Valore atteso • Il valore atteso di una variabile aleatoria continua è definito da: • Esempio: • Per una variabile discreta: • Esempio: calcolare il valore atteso della variabile aleatoria in Tabella a fianco

  16. Varianza • La varianza esprime lo scostamento quadratico medio dal valor medio. E’ definita da: • Notiamo la relazione tra V[X] e E[X2]. Si ha: • E[X2] è detto momento di ordine 2 o secondo momento della distribuzione f(x).

  17. Skewness • E’ il parametro che misura il grado di asimmetria di una distribuzione. • La definiamo come momento centrale del III ordine: • Se la distribuzione è simmetrica la skewness è nulIa. • Di sotto la skewness delle distribuzioni più comuni

  18. ..alla distribuzione di Poisson • P è detta distribuzione di Poisson •  prende il nome di rateo o tasso della distribuzione • Significato: probabilità di avere k eventi, dato il tasso .

  19. Momenti della distribuzione di Poisson • Quindi:

  20. La distribuzione Beta • La distribuzione beta della variabile X, con ax  b è definita come segue: • (q,r) è detta funzione beta. • Momenti della distribuzione:

  21. Grafico per a=-10, b=10, q=2,r=3 q=4,r=3 Grafico per a=-10, b=10, q=3,r=3 (simmetrico) La distribuzione Beta (2)

  22. La distribuzione  • Una variabile continua  () segue una distribuzione  se la sua densità di probabilità è data da: • Dove: •  (parametro di forma), (parametro di scala)>0 e • () è la funzione , una funzione notevole, che generalizza il concetto di fattoriale ai numeri non interi. () è definita come segue: • I parametri  (parametro di locazione) e sono legati al valore medio ed alla varianza di  dalle seguenti relazioni:

  23. Grafici della distribuzione 

  24. Variabile gamma. • E[X]=35 • V[X]=45 • Alpha e beta? • alpha/beta=35 • Alpha/beta^2=45 • 35/beta=45 • Beta=35/45 • Alpha=35*35/45

  25. Capitolo VI:Statistica Multivariata

  26. Distribuzioni multivariate • Consideriamo un fenomeno casuale in cui si combinino due variabili. Ad esempio, I ricavi di un supermercato derivano dai clienti che entrano nel supermercato e dal tipo di acquisti che i clienti effettuano. Modellizziamo il problema chiamando X la variabile aleatoria relativa al numero di clienti che entrano nel supermercato e Y quella relativa al valore dell’acquisto. Chiaramente quanto si venderà è funzione di X e Y. • F(x,y) sarà la probabilità che arrivino X<=x clienti e che acquistino per un valore pari ad Y<=y. Se a questa funzione cumulativa corrisponde una funzione densità di probabilità, scriveremo: f(x,y)dxdy la probabilità che arrivino x clienti e comperino per un valore y. • Qual è la probabilità che i clienti comperino X<=x indipendentemente da y? • Analogo ragionamento si applica alla determinazione della distribuzione marginale FY(y).

  27. Distribuzioni Multivariate • Più formalmente, se xy è il nostro spazio degli eventi, dove un evento è una combinazione dei valori di xy FXY(x,y) rappresenta la probabilità che X sia minore di x e, allo stesso tempo, Y sia minore di y: • FXY(x,y)=P(Xx,Y  y). • Per soddisfare gli assiomi della probabilità deve essere: • F(, )=1 • F(, y)=FY(y), F(x, )=FX(x) • F(-, -)=0, • F(-, y)=0, F(x,-)=0 • F(, y)=FY(y)

  28. Distribuzioni multivariate • Ora, logicamente ci si aspetta che Y dipenda in qualche modo da X. Infatti, più clenti arrivano più sarà facile raggiungere valori alti di Y. Ma, se per caso, in un mondo poco reale, si verificasse che Y non dipende da X, ci troveremmo di fronte al fatto che P(X<=x) è indipendente dal valore di Y. Dunque: • P(X,Y)=P(X<=x) P(Y<=y) • Quindi: F(X,Y)=FX(x) FY(y) • od anche: f(x,y)dxdy=f(x)dx f(y)dy • Diremo che X e Y sono indipendenti se: fX|Y(x|y)=fX(x)

  29. Esempio • Considerate due variabilie X e Y caratterizzate dalla seguente possibile densità: • Trovate c • Sol: • X e Y sono indipendenti? • Sono indipendenti se possiamo scrivere: fX|Y(x|y) = fX(x). • Ovvero: Nel nostro caso è facile verificare che questa condizione non può essere verificata e quindi le due variabili non sono indipendenti. La ragione è legata alla presenza del termine di interazione y/x

  30. Valore atteso condizionale • Si può dimostrare che: • Nel caso X e Y siano indipendenti

  31. Parte II:Processi stocastici

  32. Somma di un Numero Casuale di Variabili casuali • Siete i gestori di un supermercato. Ogni cliente spende Xi, dove I è il numero che indica l’i-esimo cliente. In media I clienti spendono 75EUR a testa. Il numero medio di clienti giornaliero è una variabile casuale N con valor medio 300. Quanto vi aspettate di incassare al giorno? • Soluzione. L’incasso giornaliero è dato da: • Dobbiamo quindi calcolare il valore atteso di I: • Per farlo, condizioniamo sul valore che assumerà N. Abbiamo: • Quindi ci attentiamo un incasso di 75*300=22500EUR/Giorno

  33. Processi di Poisson

  34. Processi di Conteggio • Consideriamo un processo stocastico, in cui siamo interessati a contare arrivi e tempi di arrivo. Per esempio gli arrivi di clienti al supermercato, di telefonate ad un centralino etc. • Denotiamo con N(t) il numero di eventi che si verificano nel tempo t, cioè nell’intervallo di tempo 0-t. N(t)=numero di eventi tra 0 e t. • Non è difficile intuire che: • N(t) è un numero intero non negativo, t • N(s)<=N(t) se s<t • N(t)-N(s) è il numero di eventi che si sono verificati nel tempo t-s. Si chiamerà incremento dei conteggi tra t e s. • Notazione: indicheremo con tk il tempo del k-esimo arrivo.

  35. Processi di Conteggio (2) • Il tempo Xk=Tk-Tk-1 è il tempo di attesa tra il k-esimo e il k-1-esimo evento • Es. Supponete che il supermercato apra alle 9. Il primo cliente arriva alle 9.01 e il secondo alle 9.05. Abbiamo T1=1min, T2=5min, X2=4min • Vale che: Tn=X1+X2+…Xn • Due proprietà sono di interesse: indipendenza e stazionarietà degli incrementi • Incrementi Indipendenti: Un processo viene detto ad incrementi indipendenti, se i numeri di eventi che si verificano in intervalli di tempo disgiunti sono indipendenti tra loro: P[N(t+s)-N(t)=k|N(t’+s)-N(t’)]= P[N(t+s)-N(t)=k] • Incrementi Stazionari: Un processo viene detto ad incrementi stazionari se il numero di eventi che si verifica in un intervallo dipende solo dalla lunghezza dell’intervallo. Sia s la lunghezza dell’intervallo. In termini di probabilità si scrive: P[N(t+s)-N(t)=k]=P[N(t’+s)-N(t’)=k]

  36. Processi di Poisson • Un processo di conteggio è detto processo di Poisson se verifica le seguenti proprietà: • N(0)=0 • Il processo è a incrementi indipendenti • Il processo è a incrementi stazionari e la probabilità di k eventi nel tempo t è data da: •  è detto intensità o tasso del processo

  37. Distribuzione dei tempi di arrivo • Quanto dobbiamo attendere per il primo arrivo? • In termini di probabilità, scriviamo la domanda come: qual è la probabilità che X1 sia maggiore di t): P(X1>t). • La risposta è la distribuzione cumulativa di X1: P(X1>t)=P[N(t)=0]=P(; k=0)=e-t • Qual è la distribuzione di X2? • P(X2>t|X1=s)=P[N(t-s)=0|X1=s]= grazie a proprietà di intervalli indipendenti = P[N(t-s)=0]= P(;k=0)=e-(t-s) • Ne segue: • I tempi di arrivo X1,X2,...,Xn di un processo di Poisson sono variabili aleatorie indipendenti con legge esponenziale di tasso 

  38. Distribuzione di Tn • La distribuzione del tempo di attesa Tn risponde alla domanda: come è distribuita la somma degli Xi? Infatti: Tn=X1+X2+…Xn • Dunque:P[Tn>t]=P[X1+X2+…Xn >t] • Si dimostra che Tn~(n, ) • Ricordiamo che I tempi di arrivo sono iid esponenziali. Utilizziamo la funzione generatrice dei momenti:

  39. Esempio • Gli arrivi orari ad un supermercato sono distribuiti secondo una Poisson di media 100[1/ore]. • Qual è il tempo di attesa perchè arrivino 500 clenti? • Risposta: 5 ore

  40. Processi di Poisson con selezione • Consideriamo un processo di Poisson con arrivi di tasso . • Ad ogni arrivo associamo un tasso di successo p. Per esempio successo è se un cliente compera più di tre tipi di prodotto diverso. • Indichiamo con M(t) il numero di successi ottenuti fino al tempo t. • M(t) viene detto processo di Poisson con selezione. • Si dimostra che: • M(t) e un processo di Poisson di intensità p.

  41. Applicazione • Supponiamo che se un cliente compera più di tre prodotti il guadagno sia G. Se compera meno di tre prodotti si ha una perdita L. Quali sono i valori del tasso di arrivo dei clienti e della probabilità p per avere il break-even, se gli arrivi orari seguono un processo di poisson di tasso  e la probabilità che comperino più di tre prodotti è p? • Sol. Poissimo dividere il processo in due sottoprocessi di tassi p e (1-p) rispettivamente. Il valore atteso degli acquisti in un’ora è dato rispettivamente da: p e (1-p). Affinchè vi sia break even occorre che • pG= (1-p)L p/(1-p)=L/G

  42. Processi di Poisson composti • Consideriamo un processo in cui gli eventi costituiscono un processo di poisson di tasso . Ogni volta che un evento si realizza, si ha una conseguenza Xi . Per esempio I clienti giungono al supermercato nei tempi ti ed ognuno spende un ammontare Xi. Quanto spendono in totale i clienti, e , dunque, quanto incassa il supermercato? • Il processo X(t) è detto processo di Poisson composto. In generale lo caratterizzeranno due distribuzioni, quella di Poisson e quella degli Xi. La distribuzione degli Xi potrà essere continua o discreta.

  43. Valori Attesi • I processi che coinvolgono la somma di variabili casuali sono più facilmente trattabili in termini della funzione generatrice dei momenti. Nel nostro caso dobbiamo calcolare:

  44. Valori Attesi (cont.) • Da cui, derivando la funzione generatrice dei momenti, è facile verificare che:

  45. Applicazione • I clienti che arrivano al supermercato spendono secondo la seguente tabella: • Arrivano in media 100 clienti all’ora. Nell’arco di una giornata (8 ore), quanto incassa il supermercato? • Risposta: 100*8*E[euro spesi]=100*8*91.6=73280 EUR • Incertezza (vedi esempio Excel) p p EUR EUR i i 25 2% 95 5% 30 3% 100 5% 35 3% 105 4% 40 3% 110 4% 45 3% 115 4% 50 4% 120 4% 55 4% 125 4% 60 4% 130 3% 65 4% 135 3% 70 4% 140 3% 75 5% 145 3% 80 5% 150 3% 85 3% 155 3% 90 3% 160 2%

  46. La rovina dell’assicuratore The compound Poisson process is very important in insurance, as a model for the arrival of claims at an insurance office. The standard model assumes that premiums arrive at a constant rate c and looks to find the probability that the surplus S(t) = S(0) + ct - X(t) ever hits 0 (ruin occurs).

  47. Capitolo IX:Processi di Markov Discreti e Omogenei

  48. Gestione di Magazzino • Siete i gestori di un concessionario di automobili di lusso. Avete posto per 7 auto. Il tempo di consegna delle automobili è di due giorni, per cui se ordinate l’auto al Venerdì, per il Lunedì mattina sono in vetrina. Se al Venerdì della n-esima settimana avete 2 auto o meno di 2 in vetrina, ne ordinate altre in modo da riportavi a 7. Le vendite arrivano secondo una distribuzione di Poisson con media 4 e sono pronta consegna. • Chiamiamo Xn il “numero di auto in vetrina all’inizio della n-esima settimana.” Xn è una variabile aleatoria. Infatti, dipendendo dal numero di vendite, potremmo avere 7,6,5,4,3 auto in vetrina ogni Lunedì mattina. Analizziamo come si piò descrivere il comportamento di X • Per il nostro problema, notiamo che se mettiamo sull’asse orizzontale il numero della settimana e su quello verticale le auto vendute, abbiamo un risultato del tipo:

  49. Evoluzione temporale: Processi Discreti • Notiamo che il sistema procede “ a scatti nel tempo”, ovvero ogni settimana il sistema si evolve. • Tale tipo di processo è detto discreto (ovviamente dal punto di vista temporale) X X n 7 6 ..... 5 4 3 2 1 0 1 2 3 ... ... n-1 n n+1 ... t

  50. Stati del sistema ed Evoluzione temporale • Chiamiamo stati del sistema (S) i valori che la variabile aleatoria X può assumere. • Nella figura della pagina precedente, si tratta dell’asse verticale. • Nel nostro caso sono 3,4,5,6,7. Abbiamo quindi 5 stati possibili. • In generale useremo la notazione S={1,2,…,N} per indicare gli stati del sistema • Dato il sistema in un determinato stato alla n-esima settimana, alla n+1-esima il sistema può rimanere ancora nello stesso stato o passare ad un altro stato la settimana successiva • Per esempio, se abbiamo 4 auto in vetrina alla 30-esima settimana (X30), e se non si presentano clienti, avremo ancora 4 auto il lunedì della n+1-esima settimana. Se vendiamo 2 auto, X31=7.

More Related