Suurima tõepära meetod

Mall:Keeletoimeta Suurima tõepära meetod on statistikas laialt kasutatav meetod hinnangute leidmiseks. Suurima tõepära meetod on üldjuhul efektiivsem kui muud levinud meetodid.

Põhikomponendid

Olgu antud valim $x_1,x_2,...,x_n$ jaotusest $F(x;\theta )$, mis võib olla kas pidev või diskreetne. Tõepärafunktsiooniks nimetame avaldist

$L(\theta )=\{\begin{array}{c}f(x_1;\theta )\cdot f(x_2;\theta )\cdot ...\cdot f(x_n;\theta ),\text{pideval juhul,}\\ p(x_1;\theta )\cdot p(x_2;\theta )\cdot ...\cdot p(x_n;\theta ),\text{diskreetsel juhul,}\end{array}$

kus $f(x;\theta )$ tähistab jaotuse $F$ tihedusfunktsiooni (pideval juhul) ja $p(x;\theta )$ tähistab $F$ tõenäosusfunktsiooni (diskreetsel juhul), $\theta \in A$.

Olgu $X=(X_1,X_2,...,X_n),X_i$ sõltumatud suurused ja $X_i\sim F(x;\theta )$, siis $L(\theta )$ on valimi $x=(x_1,x_2,...,x_n)$ saamise tõenäosus (diskreetsel juhul) või juhusliku vektori $X$ tihedusfunktsiooni väärtus punktis $x$ (pideval juhul) antud $\theta$ korral. Realiseerunud valimi $x$ korral on suurused $x_1,x_2,...,x_n$ teadaolevad arvud ja $L(\theta )$ on üksnes parameetri $\theta$ funktsioon. Eesmärgiks on leida niisugune $\theta$ väärtus parameeterruumist $A$, et $L(\theta )$ oleks maksimaalne. Ütleme, et vastav $\theta$ väärtus on kõige tõepärasem vaadeldava valimi jaoks (st ka vastav üldkogumi jaotus on kõige tõepärasem vaadeldava valimi jaoks).

Suurima tõepära printsiip – kõige tõepärasema üldkogumijaotuse määramine antud valimi jaoks.

Väärtust $\hat{\theta }$, mida maksimeeritakse parameeterruumis $A$ ($L(\theta )$ saavutab maksimaalse väärtuse), nimetatakse parameetri $\theta$ suurima tõepära hinnanguks:

$L(\hat{\theta })=\underset{\theta \in A}{\max }L(\theta ).$

Kui tahta leida suurima tõepära hinnangut praktiliselt, on tihti lihtsam kasutada tõepärafunktsiooni logaritmi. Logaritmi monotoonsuse tõttu saavutavad $L(\theta )$ ja $\ln L(\theta )$ maksimumi samas punktis, st määravad sama suurima tõepära hinnangu.

Logaritmiline tõepärafunktsioon on

$l(\theta ;x)=\ln L(\theta ;x)\{\begin{array}{c}\sum _{i=1}^n\ln f(x_i;\theta ),\text{pideval juhul,}\\ \sum _{i=1}^n\ln p(x_i;\theta ),\text{diskreetsel juhul,}\end{array}$

Näited

Näide 1: Mündivise. Üldkogumijaotuseks on mündi visketulemuse (vapp, kiri) jaotus, kus vapi tulemise tõenäosuseks on $p$ ja kirja tulemise tõenäosuseks $1-p$. Olgu eelnevalt teada, et $p\in \{\frac{1}{2};\frac{1}{4}\}$ Olgu meil kaks vaatlust: $x_1$ = vapp ja $x_2$ = vapp. Kumb on tõepärasem hinnang parameetrile p, kas $\frac{1}{2}$ või $\frac{1}{4}$ Kirjutame välja tõepärafunktsiooni:

$L(p)=P(X=x_1)\cdot P(X=x_2)=p^2,$

millest saame, et $L(\frac{1}{2})=\frac{1}{4},L(\frac{1}{4})=\frac{1}{16}$.

Kuna $L(\frac{1}{2})>L(\frac{1}{4})$, siis $\hat{p}=\frac{1}{2}$ on suurima tõepära hinnang $p$-le.

Näide 2: Olgu üldkogumijaotus eksponentjaotusest $Exp(\lambda )$ parameetriga $\lambda =\frac{1}{\theta }$ . Jaotusele vastav tihedusfunktsioon on

$f(x;\theta )=\frac{1}{\theta }{e}^{-\frac{x}{\theta }},x\ge 0.$

Olgu parameeter $\theta$ tundmatu. Pole raske näidata, et $\theta$ on antud jaotuse keskväärtus. Olgu meil $n=4$ vaatlust jaotusest:

$0.322,0.879,0.222,0.012.$

Leiame tõepärafunktsiooni

$L(\theta )=\prod _{i=1}^{n}f(x_i;\theta )=\frac{1}{{\theta }^n}{e}^{-\frac{\sum _{i=1}^n}{\theta }}=\frac{1}{{\theta }^4}{e}^{\frac{-1.435}{\theta }}$

ja logaritmilise tõepärafunktsiooni:

$l(\theta )=\ln L(\theta )=-4\ln \theta -\frac{1.435}{\theta }$

Paneme tähele, et tõepärafunktsioonid on $\theta$ funktsioonid. Mõlemad funktsioonid saavutavad maksimumi samal kohal, kuna logaritmfunktsioon on monotoonselt kasvav. Maksimumi leidmiseks leiame tuletise,

$\frac{d}{d\theta }l(\theta )=-\frac{4}{\theta }+\frac{1.435}{{\theta }^2}.$

Tuletise võrdsustamisel nulliga saame logaritmilise tõepärafunktsiooni maksimumpunkti, mis on ühtlasi parameetri $\theta$ suurima tõepära hinnanguks, $\hat{\theta }=0.358$.

Hinnang logistilise regressiooni korral

Logistilise regressiooni korral avaldub suurima tõepära hinnang järgmiselt:

$LF=\prod _{i=1}^n\{P_i^{Y_i}*(1-P_i{)}^{1-Y_i}\},$

kus $LF$ on tõepära hinnang, $Y_i$ on vaadeldav väärtus $i$-l juhul ja $P_i$ on ennustatud tõenäosus $i$-l juhul. $P_i$ väärtused tulevad logistilise regressiooni mudelist ja valemist $P_i=1/(1+e^{-L_i})$, kus $L_i$ on log-šansid, mis on määratud vabaliikme ja parameetri väärtuste $\beta$ poolt. Eesmärk on leida $\beta$ väärtused, mille tulemusel saadakse $L_i$ ja $P_i$ väärtused, mis maksimeerivad $LF$-i.