Povezanost između obeležja ili pojava može se razlikovati po jačini povezanosti. Na primer, obim kruga [inlmath]O[/inlmath] i prečnik kruga [inlmath]R[/inlmath] u funkcionalnoj su vezi [inlmath]O=R\pi[/inlmath]. Labavija veza, ali još uvek značajna, bila bi između visine i telesne mase ljudi. Veza između srednjih dnevnih temperatura na Arktiku i broja postova dnevno na Matemaniji ne verujem da postoji, no nikad se ne zna, možda imamo i korisnike s Arktika ili naši korisnici tamo imaju neke bliske ljude...
Gauss je došao na ideju da podigne na kvadrat sva vertikalna odstupanja tačaka od zamišljene „idealne“ prave i da, zatim, te kvadrate odstupanja sabere:
Moglo se raditi i s apsolutnim vrednostima (neke tačke su ispod a neke iznad prave, a ideja je da prava što manje odstupa od tih tačaka), no je jednostavnije u matematičkom smislu kvadrirati ove vrednosti i naći sumu tih kvadrata odstupanja, zbog čega je metod i nazvan „Metod najmanjih kvadrata“:
[dispmath]S=\sum_{i=1}^n(e_i)^2=\sum_{i=1}^n(ax_i+b-y_i)^2[/dispmath]
Potrebno je naglasiti da je jednačina plave prave na gornjoj slici zapravo [inlmath]y=ax+b[/inlmath]. Nepoznate su [inlmath]a[/inlmath] i [inlmath]b[/inlmath], a ne [inlmath]x_i[/inlmath] i [inlmath]y_i[/inlmath], jer su to tačke zadate uzorkom.
Problem se svodi na nalaženje minimuma funkcije [inlmath]S(a,b)[/inlmath] tj. nakon urađenih parcijalnih izvoda po promenljivim [inlmath]b[/inlmath] i [inlmath]a[/inlmath], respektivno, jer prava zavisi od slobodnog člana i od koeficijenta pravca i dobija se, naravno, nakon izjednačavanja ovih izvoda s nulom:
[dispmath]nb+a\sum_{i=1}^nx_i=\sum_{i=1}^ny_i[/dispmath][dispmath]b\sum_{i=1}^nx_i+a\sum_{i=1}^n{x_i}^2=\sum_{i=1}^ny_i x_i[/dispmath]
Evo na kraju i jednog primera, ako se neko zainteresuje. Zadat je uzorak:
[inlmath](1,10);\;(2,30);\;(3,20)[/inlmath]
Da pojasnim: prva tačka ima [inlmath]x[/inlmath] koordinatu jednaku [inlmath]1[/inlmath] i [inlmath]y[/inlmath] koordinatu jednaku [inlmath]10[/inlmath]. Itd.
Potrebno je naći jednačinu regresione prave.
Rezultat je:
[dispmath]y=5x+10[/dispmath]