Postoje četiri standardne definicije verovatnoće: Klasična (Laplasova), geometrijska, statistička i aksiomatska. Svaka od njih ima neke prednosti, pri čemu je statistička svakako najspecifičnija, posebno po povezivanju verovatnoće i statistike.
Statistička definicija verovatnoće:
Ako se sa [inlmath]m[/inlmath] označi broj realizacija događaja [inlmath]A[/inlmath] u [inlmath]n[/inlmath] nezavisnih eksperimenata tada relativna frekvencija događaja [inlmath]A[/inlmath] u oznaci [inlmath]f_r(A)=\frac{m}{n}[/inlmath] u većini serija eksperimenata gde je [inlmath]n[/inlmath] dovoljno veliko zadržava skoro konstantnu vrednost. U rezultatu dovoljno velikog broja eksperimenata koji se nezavisno jedan od drugog izvode pod nepromenjenim uslovima zapaža se da frekvencija događaja [inlmath]A[/inlmath] skoro za svaku veliku seriju takvih eksperimenata varira oko određene konstante. Ta konstanta (u opštem slučaju nepoznata) predstavlja statistički definisanu verovatnoću.
Relativna frekvencija svakako nije verovatnoća u Laplasovom smislu (broj povoljnih ishoda podeljen ukupnim brojem ishoda). Ona je zasnovana na empirijskim opservacijama, na konkretno realizovanim eksperimentima. Recimo, Laplas (Pierre Simon Laplace) je još u prvoj polovini 19. veka proučavao odnos broja novorođene dece muškog pola i ukupnog broja novorođenčadi, na osnovu podataka za desetogodišnji period u Francuskoj, zatim Berlin, Petrograd i London. U sve četiri velike serije frekvencija se kolebala oko broja približno jednakog [inlmath]\frac{22}{43}[/inlmath]. Ili, Pirson (Karl Pearson) je u [inlmath]24000[/inlmath] bacanja novčića dobio [inlmath]12012[/inlmath] puta grb.
Uočena stabilnost srednjih rezultata masovnih slučajnih pojava dovela je do nastanka čitavog niza teorema koje se nazivaju zakonima velikih brojeva. Evo jedne od tih teorema:
Bernulijev (Jackob Bernoulli) zakon velikih brojeva:
[dispmath]\lim\limits_{n\to\infty}P\left(\left|\frac{m}{n}-p\right|<\epsilon\right)=1[/dispmath]
Formalni iskaz ove teoreme glasi: Relativna frekvencija [inlmath]\frac{m}{n}[/inlmath] konvergira u verovatnoći ka verovatnoći pojave događaja [inlmath]P(A)=p[/inlmath]. Ovde je [inlmath]\epsilon[/inlmath] proizvoljno mali pozitivan broj. Neformalno, ovo znači da se u više serija sa velikim brojem ponavljanja eksperimenta sve ređe dešavaju veća odstupanja frekvencije od verovatnoće ukoliko je broj ponavljanja [inlmath]n[/inlmath] veći.