Analisi della varianza in forma matriciale

1. Analisi della varianza in forma matriciale • Regressione con variabili dummy • Significato dei parametri stimati • Scomposizione della varianza • Effect coding • Significato dei parametri stimati • Codifiche ortogonali (multipla, media) • Scomposizione della varianza • Codifica ortogonale con k>3 • Disegno sperimentale con due fattori indipendenti • Disegno sperimentale 3x3 con interazione • Disegno a misure ripetute • Disegno 2x2 a misure ripetute • Disegno misto • Analisi covarianza • Potenza del test

2. Regressione con variabili dummy (0 & 1) I dati di un esperimento con 1 fattore a k=4 livelli indipendenti

3. Regressione con variabili dummy Con k gruppi indipendenti è possibile codificare i k livelli del fattore utilizzando la Dummy coding. È allora possibile costruire una matrice X dove ad ogni colonna Xk corrisponde un livello del fattore posto in contrasto con il livello di riferimento, in questo caso l’ultimo. Da notare la colonna X0 per codificare la media di riferimento, qui quella del k-esimo gruppo.

4. Regressione con variabili dummy (0 & 1) Questo sistema di codifica implica che la generale matrice X’X assumerà come valori:

5. Regressione con variabili dummy (0 & 1) Da cui: Analogamente la matrice X’y diventerà:

6. Regressione con variabili dummy (0 & 1)

7. Significato parametri stimati La codifica dummy stabilisce che il parametro b0 corrisponde alla media della k-esima categoria presa in considerazione; gli altri parametri corrispondono alla differenza tra le medie dei gruppi e la categoria di riferimento e cioè l’ultima, quella codificata con il vettore (0,0,0). Sicché: mentre

8. Significato parametri stimati I parametri beta stimati nella codifica dummy permettono di valutare nell’ordine le seguenti ipotesi nulle:

9. Significato parametri stimati Noi sappiamo che Per ciascuna delle nk osservazioni possiamo riscontrare che Xk = 1 mentre i rimanenti X-k = 0. Pertanto il valore stimato dalla regressione per ogni gruppo di indipendenti osservazioni può essere ricondotto alla media delle osservazioni. Infatti:

10. Sommatorie dei quadrati In generale, è possibile scomporre la sommatoria totale dei quadrati (SStot) nella componente attribuita alla regressione (SST) e la componente dovuta all’errore (SSW).

11. Sommatorie dei quadrati

12. Sommatorie dei quadrati

13. Risultati dell’ANOVA Come nella regressione multipla, è possibile verificare l’ipotesi nulla complessiva della uguaglianza dei beta stimati con 0, giungendo al seguente risultato: Dove con k si indica il numero di colonne della matrice X escludendo X0.

14. Effect coding (1, 0, -1) È possibile codificare i livelli del fattore utilizzando una codifica centrata sulla media generale delle osservazioni. Tale codifica viene detta Effect coding. Da notare la colonna X0 per codificare la media generale. L’ultimo gruppo viene ad assume come valore -1, portando a 0 la sommatoria dei valori presenti in ciascuna colonna.

15. Effect coding (1, 0, -1) Questo sistema di codifica implica che la generale matrice X’X assumerà come valori:

16. Effect coding (1, 0, -1) Da cui: Analogamente la matrice X’y diventerà:

17. Effect coding (1, 0, -1)

18. Significato parametri stimati La Effect coding stabilisce che il parametro b0 corrisponde alla media generale delle osservazioni; gli altri parametri corrispondono alla differenza tra la media del gruppo e la media generale. Sicché: mentre

19. Significato parametri stimati I parametri beta stimati nella Effect coding permettono di valutare nell’ordine le seguenti ipotesi nulle:

20. Significato parametri stimati Noi sappiamo che Per ciascuna delle nk osservazioni possiamo riscontrare che Xk = 1 mentre i rimanenti X-k = 0. Pertanto il valore stimato dalla regressione per ogni gruppo di indipendenti osservazioni può essere ricondotto alla media delle osservazioni. Infatti:

21. Significato parametri stimati Per il k-esimo gruppo avremo: Si mostra quindi come la differenza tra le due codifiche consiste nel valore che assume il parametro beta. Mentre nella dummy rappresenta la differenza della media rispetto al gruppo di riferimento, nella coding rappresenta la differenza rispetto alla media generale.

22. Codifiche ortogonali Quando le variabili indipendenti sono tra loro mutuamente indipendenti il loro contributo all’adattamento del modello ai dati è ripartibile secondo le proporzioni: I contributi delle k variabili X saranno unici ed indipendenti e non vi saranno effetti indiretti. Tale condizione si può realizzare attraverso la codifica ortogonale dei livelli dei fattori.

23. Codifiche ortogonali La codifica è ortogonale quando: Quando le componenti degli effetti sono puramente additive, con quindi le componenti moltiplicative uguali a zero, questi vengono a costituire confronti tra medie ortogonali all’interno dell’analisi di varianza. Questo tipo di confronti vengono indicati come contrasti ortogonali.

24. Codifiche ortogonali È possibile costruire tali contrasti in differenti modi. Come regola generale, per codificare un fattore a l=3 livelli, si consiglia di utilizzare:

25. Codifiche ortogonali Tale codifica permette di sottoporre a valutazione le seguenti ipotesi nulle: I parametri beta stimati permettono di prendere una decisione circa tali ipotesi, infatti:

26. Codifiche ortogonali Appare chiaro come sia preferibile una codifica direttamente centrata sulle medie, in modo che i parametri beta stimati siamo più “leggibili”:

27. Codifiche ortogonali I parametri stimati corrispondono dunque a:

28. Scomposizione della varianza Al fine di condurre un test statistico sui coefficienti di regressione è necessario: • calcolare la SSreg e la SSres per il modello contenente tutte le variabili indipendenti • calcolare la SSreg per il modello escludendo le variabili di cui si vuole testare la significatività (SS-i), o in disegni bilanciati ortogonali, calcolare direttamente la sommatoria dei quadrati dovuti alle sole variabili di cui si vuole testare la significatività (SSi). • effettuare un test F con al numeratore SSi pesato per la differenza i gradi di libertà; e con denominatore SSres / (n-k-1)

29. Scomposizione della varianza Per testare, ad esempio, il peso della sola prima variabile X1 rispetto al modello totale, è necessario calcolare SSreg partendo da b1 e X1.

30. Scomposizione della varianza

31. Scomposizione della varianza

32. Scomposizione della varianza Si può calcolare allora la statistica F per il modello completo come per le singole variabili Xi.

33. Scomposizione della varianza Analogamente anche la quantità di varianza spiegata dal modello può essere ricomposta additivamente:

34. Scomposizione della varianza • Esistono comunque differenti algoritmi per scomporre la varianza attribuendola ai diversi fattori, specialmente quando le variabili dipendenti (DV) e le eventuali covariate (CV) sono correlate tra loro. • In accordo con la distinzione operata da SAS, sono indicate 4 modalità di scomposizione della varianza. Queste modalità prendono il nome di: • Tipo-I • Tipo-II • Tipo-III • Tipo-IV

35. Scomposizione della varianza • In R / S-PLUS la funzione anova calcola SS utilizzando il Tipo-I. È stata sviluppata la libreria car che permette, attraverso la funzione Anova, di utilizzare il Tipo-II e Tipo-III. • Per un approfondimento si veda: Langsrud, Ø. (2003), ANOVA for Unbalanced Data: Use Type II Instead of Type III Sums of Squares, Statistics and Computing, 13, 163-167.

36. Scomposizione della varianza Type-I: sequential • The SS for each factor is the incremental improvement in the error SS as each factor effect is added to the regression model. In other words it is the effect as the factor were considered one at a time into the model, in the order they are entered in the model selection. The SS can also be viewed as the reduction in residual sum of squares (SSE) obtained by adding that term to a fit that already includes the terms listed before it. • Pros: • (1) Nice property: balanced or not, SS for all the effects add up to the total SS, a complete decomposition of the predicted sums of squares for the whole model. This is not generally true for any other type of sums of squares. • (2) Preferable when some factors (such as nesting) should be taken out before other factors. For example with unequal number of male and female, factor "gender" should precede "subject" in an unbalanced design. • Cons: • (1) Order matters! Hypotheses depend on the order in which effects are specified. If you fit a 2-way ANOVA with two models, one with A then B, the other with B then A, not only can the type I SS for factor A be different under the two models, but there is NO certain way to predict whether the SS will go up or down when A comes second instead of first.This lack of invariance to order of entry into the model limits the usefulness of Type I sums of squares for testing hypotheses for certain designs. • (2) Not appropriate for factorial designs

37. Scomposizione della varianza Type II: hierarchical or partially sequential • SS is the reduction in residual error due to adding the term to the model after all other terms except those that contain it, or the reduction in residual sum of squares obtained by adding that term to a model consisting of all other terms that do not contain the term in question. An interaction comes into play only when all involved factors are included in the model. For example, the SS for main effect of factor A is not adjusted for any interactions involving A: AB, AC and ABC, and sums of squares for two-way interactions control for all main effects and all other two-way interactions, and so on. • Pros: • (1) appropriate for model building, and natural choice for regression. • (2) most powerful when there is no interaction • (3) invariant to the order in which effects are entered into the model • Cons: • (1) For factorial designs with unequal cell samples, Type II sums of squares test hypotheses that are complex functions of the cell ns that ordinarily are not meaningful. • (2) Not appropriate for factorial designs

38. Scomposizione della varianza Type III: marginal or orthogonal • SS gives the sum of squares that would be obtained for each variable if it were entered last into the model. That is, the effect of each variable is evaluated after all other factors have been accounted for. Therefore the result for each term is equivalent to what is obtained with Type I analysis when the term enters the model as the last one in the ordering. • Pros: • Not sample size dependent: effect estimates are not a function of the frequency of observations in any group (i.e. for unbalanced data, where we have unequal numbers of observations in each group). When there are no missing cells in the design, these subpopulation means are least squares means, which are the best linear-unbiased estimates of the marginal means for the design. • Cons: • (1) testing main effects in the presence of interactions • (2) Not appropriate for designs with missing cells: for ANOVA designs with missing cells, Type III sums of squares generally do not test hypotheses about least squares means, but instead test hypotheses that are complex functions of the patterns of missing cells in higher-order containing interactions and that are ordinarily not meaningful.

39. Codifica ortogonale con K>3 Per codificare un fattore con l=4, la codifica generale diventa:

40. Codifica ortogonale con K>3 È possibile così testare le seguenti ipotesi: La somma dei quadrati può allora essere scomposta in modo ortogonale nel modo seguente

41. Disegni con più fattori indipendenti Prendiamo come riferimento il seguente esperimento con due fattori indipendenti, ciascuno a due livelli (2x2):

42. Disegni con più fattori indipendenti È possibile avere una rappresentazione grafica delle medie AiBj:

43. Disegni con più fattori indipendenti Si possono codificare i due livelli di ciascun fattore assegnando a ciascun fattore una colonna della matrice X (rispettivamente X1 e X2). È inoltre necessario codificare anche l’interazione tra i fattori, aggiungendo tante colonne quante sono le possibili interazioni tra i fattori. Qui la colonna che codifica l’interazione è X3 calcolata linearmente come prodotto X1 X2

44. Disegni con più fattori indipendenti • La codifica ortogonale precedentemente considerata non permette una immediata comprensione dei parametri stimati. • Si consiglia pertanto la seguente codifica ortogonale, dove l’elemento al denominatore corrisponde al numero dei livelli del fattore. • L’interazione si calcola nel modo precedentemente indicato.

45. Disegni con più fattori indipendenti Stimando i parametri beta si trova: I parametri stimati indicano: Il parametro b3 relativo all’interazione permette la verifica dell’ipotesi di parallelismo. Questo parametro deve essere studiato prima dei singoli fattori.

46. Disegni con più fattori indipendenti

47. Disegni con più fattori indipendenti È possibile a questo punto verificare le seguenti ipotesi:

48. Disegni con più fattori indipendenti È possibile stimare la percentuale di varianza spiegata dai fattori e dall’interazione, come dal modello complessivo:

49. Disegni 3x3 con interazione Analizziamo ora un modello sperimentale più complesso, con due fattori ciascuno a tre livelli (3x3).

50. Disegni 3x3 con interazione • Per codificare i livelli dei due fattori e le interazioni, è possibile costituire una matrice come la seguente, con riferimento alla codifica dummy (in cui viene riportato solo il valore osservato relativo all’ultimo soggetto). • X1 e X2 codificano il primo fattore A, • X3 e X4 codificano il secondo fattore B, • X5,X6,X7,X8 codificano le interazioni tra i livelli. La matrice completa delle X risulterà dunque di 45 righe x 9 colonne.