Download
1 / 13
140 likes | 245 Vues
Odhad metodou maximální věrohodnost. J.Hendl. Odhad metodou maximální věrohodnost. Podmíněné rozložení a věrohodnost Odhad metodou maximální věrohodnosti Test poměrem věrohodností. Úvod.
E N D
Odhad metodou maximální věrohodnost • Podmíněné rozložení a věrohodnost • Odhad metodou maximální věrohodnosti • Test poměrem věrohodností
Úvod • Chceme odhadnout parametry, provedeme měření a získáme tak informace o sledovaném rozložení (x1,…,xn). • Metoda maximalizace věrohodnost je jednou z metod odhadu, mezi ně patří také metoda nejmenších čtverců, metoda momentů, bayesovská metoda atd. • Výsledkem je funkce pozorování – t(x1,…,xn). Jedná se tedy o náhodnou proměnnou. • Chceme znát vlastnosti této funkce t.
Požadované vlastnosti • Nestrannost. Vychýlení (Bias) je definováno jako průměrný rozdíl mezi odhadem (t) a správnou hodnotou parametru (). • Efficience. Má malý rozptyl(var(t)). • Konsistence. Jak se n blíží k nekonečnu, odhad t se blíží ke správné hodnotě . • Minimální průměrná kvadratická odchylka: očekávaná hodnota čtverce odchylek. • Odhad má být eficientní a nestranný. Je těžké dosáhnout všech těchto vlastností. • ML odhady mají dobré asymptotické vlastnosti. Například t je asymptoticky normální.
Podmíněné rozložení resp. pravděpodobnost, věrohodnostní funkce • Známe tvar rozložení, které závisí na parametru (parametrech). Jedno pozorování má hustotuf(x|).Jedná se podmíněné rozloženíf(x|), za podmínky že známe parametr . • Pro nezávislá pozorování je společné rozložení násobkem jednotlivých hustot nebo pravděpodobnostních funkcí: • Můžeme interpretovatf(x1,x2,,,xn|)jako pravděpodobnost dané konfigurace pozorování, jestliže známe parametr . • Věrohodnostní funkce je úměrná společnému rozložení:
Podmíněně rozložení a věrohodnost (pokr.) • Když mluvíme o rozložení, považujeme parametr za fixní a pozorování se mění. Jestliže mluvíme o věrohodnosti, pak jsou pozorování fixní a parametr se může měnit : • Princip maximální věrohodnosti říká, že máme zvolit jako odhad parametr, který maximalizuje věrohodnost toho, že napozorujeme danou konfiguraci pozorování:
Metoda maximální věrohodnosti (Maximum likelihood) • Jestliže maximalizujeme funkci, která ma derivaci, pak lze derivaci položit rovnou nule: • Řešení této rovnice dává kandidáty na odhad. • Místo věrohodnostní funkce často derivujeme logaritmus věrohodnostní funkce, protože ten je rostoucí funkcí a nic se v podstatě nemění: • Práce se součtem je výhodnější než s násobky.
Maximum likelihood: příklad – úspěch a neúspěch • Uvažujme případ diskrétního rozložení.Provádíme pokus na úspěch a neúspěch, pravděpodobnost úspěchu je a pravděpodobnost neúspěchu je 1- . Neznámá hodnota . Provedli jsme n pokusů, k z nich bylo úspěšnýchk a n-k neúspěšných. Náhodná proměnná Y má hodnoty- 0 (neúspěch) nebo- 1 (úspěch).
Maximum likelihood: příklad – úspěch a neúspěch • Uvažujme případ diskrétního rozložení.Pozorování jsouy=(y1,y2,…,yn). Pravděpodobnost úspěchuyiv i-tém pokusu: • Jelikož pokusy jsou nezávislé ze pro n pokusů psát:
Maximum likelihood: příklad – úspěch a neúspěch (pokr.) • Pro log této funkce lze psát: • Po derivaci podle parametru a položením rovno nule dostaneme: • Vyřešením vzniklé rovnice získáme odhad ve formě:
Maximum likelihood: příklad – úspěch a neúspěch Zajímavější je situace, jestliže je funkcí nějakých parametrů: máme např.: Nalezení maxima věrohodnostní funkce je pak složitější a musí se hledat iterativně, jedná se o nelineární optimalizaci funkce ve tvaru: To je případ logistické regrese
Pro normální rozložení hledáme odhady parametrů(spojité rozložení) Věrohodnostní funkce má tvar pronpozorováníy=(y1,y2,,,yn), jestliže logaritmujeme: Derivujeme parciálně podle průměru a směrodatné odchylky: První lze získat nezávisle na druhém řešení:
Test poměrem maximální věrohodnosti Předpokládejme výběr o rozsahu n (x=(x1,,,,xn)) a chceme odhadnout vektor parametrů=(1,2). Obě části jsou vektory1 a 2. Testujeme nulovou hypotézu proti alternativě: Předpokládejme, že věrohodnostní funkce má tvarL(x| ). Pak test sestrojíme takto:1) Maximalizujeme věrohodnostní funkci za platnosti nulové hypotézy 10 , 2)Maximalizujeme věrohodnostní funkci bez omezení: wje testovací statistika. Jestliže je malá hypotézu zamítáme.
