1. Metod maksimalne verodostojnosti
Ovu metodu koristio je Gaus (Carl Friedrich Gauss) u nekim posebnim slučajevima još početkom devetnaestog veka, da bi je sasvim jasno formulisao Fišer (Ronald Fisher) početkom dvadesetog veka.
Ovde će ta metoda biti prikazana u jednom specifičnom slučaju, kada je cilj naći ocenu parametra [inlmath]p[/inlmath] binomne raspodele:
[dispmath]P(X=x)={n\choose x}p^xq^{n-x}\quad x=0,1,\ldots,n\qquad p+q=1[/dispmath]
Koga to zanima, imamo na forumu i detaljnije o binomnoj i nekim drugim diskretnim raspodelama.
Funkcija verodostojnosti [inlmath]L[/inlmath] (likelihood function) zavisi kako od parametara raspodele tako i od svih elemenata uzorka. Ukoliko obim tj. veličinu uzorka označimo sa [inlmath]N[/inlmath] (neophodno je ovako, da se razlikuje od broja ponavljanja eksperimenta [inlmath]n[/inlmath]), imamo sledeću postavku ove funkcije za specijalan slučaj, tj. kod binomne raspodele:
[dispmath]L=\prod_{i=1}^N{n\choose x_i}p^{x_i}(1-p)^{n-x_i}[/dispmath]
Ovde su [inlmath]x_i[/inlmath] elementi uzorka. Evidentno je i [inlmath]q[/inlmath] zamenjeno sa [inlmath]1-p[/inlmath]. Cilj je naći maksimum ove funkcije po parametru [inlmath]p[/inlmath]. Uostalom, ovo je metoda maksimalne verodostojnosti. Sve ostalo su konstante, [inlmath]p[/inlmath] je promenljiva.
Koristeći činjenicu da [inlmath]L[/inlmath] i [inlmath]\ln L[/inlmath] dostižu maksimum za istu vrednost argumenta, može se bez smanjenja opštosti pisati:
[dispmath]\ln L=\sum_{i=1}^N\ln\Biggl({n\choose x_i}p^{x_i}(1-p)^{n-x_i}\Biggr)[/dispmath]
Naravno, logaritam proizvoda je suma logaritama. Dalje je:
[dispmath]\ln L=\sum_{i=1}^N\Biggl(\ln{n\choose x_i}+x_i\ln p+(n-x_i)\ln(1-p)\Biggr)[/dispmath]
Ukoliko se potraži prvi izvod ove funkcije po parametru [inlmath]p[/inlmath] i izjednači s nulom, dobija se:
[dispmath]\sum_{i=1}^N\left(\frac{x_i}{p}-\frac{n-x_i}{1-p}\right)=0[/dispmath]
Razdvajanjem na dve sume i množenjem obe strane sa [inlmath]p(1-p)[/inlmath] imamo:
[dispmath](1-p)\sum_{i=1}^Nx_i-p\sum_{i=1}^N(n-x_i)=0[/dispmath][dispmath]\sum_{i=1}^Nx_i-\cancel{p\sum_{i=1}^Nx_i}-p\sum_{i=1}^Nn+\cancel{p\sum_{i=1}^Nx_i}=0[/dispmath]
Odavde je evidentno dalje:
[dispmath]\enclose{box}{p=\frac{\sum\limits_{i=1}^Nx_i}{nN}=\frac{\overline{X}}{n}}[/dispmath]
Ovde je sa [inlmath]\overline{X}[/inlmath] označena aritmetička sredina elemenata uzorka.
2. Metod momenata
I ovu metodu zasnovao je Fisher, no ju je dopunio Šepard (Sheppard).
Ne želim dublje da ulazim u neka izvođenja, suština metode za samo jedan parametar je da se izjednače matematičko očekivanje i aritmetička sredina.
Matematičko očekivanje kod binomne raspodele iznosi [inlmath]np[/inlmath], no izvešću i to na zahtev korisnika. Dakle je [inlmath]np=\overline{X}[/inlmath].
Sledi:
[dispmath]\enclose{box}{p=\frac{\overline{X}}{n}}[/dispmath]
Što bi rekao kolega Onomatopeja: Ende.