Korisnički Kontrolni Panel
Pogledajte svoj profil
Pogledajte svoje postove
ČPP
Prijavite se

Matematički forum na kojem možete da diskutujete o raznim matematičkim oblastima, pomognete drugima oko rešavanja zadataka, a i da dobijete pomoć kada vam zatreba


















Index stranica OSTALE MATEMATIČKE OBLASTI LINEARNA ALGEBRA

Gradijent funkcije, linearna regresija

Matrice, determinante...

Moderator: Corba248

Gradijent funkcije, linearna regresija

Postod gavra » Subota, 09. Decembar 2017, 18:15

Pozdrav. Imam postupak nalazenja gradijenta, ali mi nije potpuno jasan.

Potrebno mi je da nadjem gradijent ove funkcije: [inlmath]J(\omega)=\sum\limits_{n=1}^N\left(\omega^TX_n-t_n\right)^2[/inlmath], gde su [inlmath]\omega[/inlmath] i [inlmath]t[/inlmath] vektori, a [inlmath]X[/inlmath] matrica. [inlmath]X_n[/inlmath] je red u matrici, a [inlmath]t_n[/inlmath] je skalar.

I sad imam ovo:
[dispmath]J(\omega)=\sum_{n=1}^N\left(\omega^TX_n-t_n\right)^2=\\
\sum_{n=1}^N(X\omega-t)_n^2=||X\omega-t||^2=(X\omega-t)^T(X\omega-t)=\\
\omega^TX^TX\omega-\omega^TX^Tt-t^TX\omega+t^Tt[/dispmath] I sad racunam gradijent po [inlmath]\omega[/inlmath], (a to valjda znaci da mi treba samo parcijalni izvod po [inlmath]\omega[/inlmath]?)
[dispmath]\nabla_{\omega}J(\omega)=\left(X^TX+\left(X^TX\right)^T\right)\omega-2X^Tt =\\
2X^TX\omega-2X^Tt[/dispmath] Ovde treba da iskoristim neke resene primere odavde navodno sa 10. i 11. strane da bih nasao gradijent.

Ono sto mi nije jasno je ovaj prvi red gde racunamo gradijent. Kako se dobilo [inlmath]\left(X^TX+\left(X^TX\right)^T\right)\omega-2X^Tt[/inlmath] iz prethodnog koraka? Tu valjda koristimo identitete iz ovog pdf-a, ali ne vidim kako.
Naravno, postoji mogucnost da je resenje lose prepisano, ali se nadam da nije. Hvala puno unapred.
gavra  OFFLINE
 
Postovi: 18
Zahvalio se: 7 puta
Pohvaljen: 0 puta

Sharuj ovu temu na:

Share on Facebook Facebook Share on Twitter Twitter Share on MySpace MySpace Share on Google+ Google+
  • +1

Re: Gradijent funkcije, linearna regresija

Postod Onomatopeja » Subota, 09. Decembar 2017, 21:15

Nisam bas u toku sa ovom oblascu, no ako ti je jasno da vazi [inlmath]J(\omega)=(X\omega-t)^T(X\omega-t)[/inlmath], onda bih ti mozda mogao da pomognem. Naime, gradijent mozes naci i i na sledeci nacin (u sustini po definiciji):
[dispmath]J(\omega+h)-J(\omega)=(X(\omega+h)-t)^T(X(\omega+h)-t)-(X\omega-t)^T(X\omega-t)=\omega^TX^TXh+h^TX^TX\omega+h^TX^TXh-h^TX^Tt-t^TXh,[/dispmath] te imamo da diferencijal preslikavanja [inlmath]J[/inlmath] u [inlmath]\omega[/inlmath] deluje kao
[dispmath]dJ(\omega)(h)=\omega^TX^TXh+h^TX^TX\omega-h^TX^Tt-t^TXh.[/dispmath] Zaista, [inlmath]\|J(\omega+h)-J(\omega)-dJ(\omega)(h)\|=\|h^TX^TXh\|\leq\|X^TX\|\|h\|^2\to0[/inlmath] kad [inlmath]\|h\|\to0[/inlmath]. Takodje, kako su [inlmath]h^TX^TX\omega[/inlmath] i [inlmath]h^TX^Tt[/inlmath] skalari, to je [inlmath]h^TX^TX\omega=(h^TX^TX\omega)^T=\omega^TX^TXh[/inlmath] i slicno [inlmath]h^TX^Tt=t^TXh[/inlmath], pa je zapravo [inlmath]dJ(\omega)(h)=2(\omega^TX^TXh-t^TXh)=2((X\omega)^TXh-t^TXh)=2(X\omega-t)^TXh=2\langle X\omega-t,Xh\rangle=2\langle X^T(X\omega-t),h\rangle[/inlmath], odakle je [inlmath]\nabla_\omega J(\omega)=2X^T(X\omega-t)[/inlmath] jer je [inlmath]dJ(\omega)(h)=\langle\nabla_\omega J(\omega),h\rangle[/inlmath]. Sa [inlmath]\langle\cdot,\cdot\rangle[/inlmath] je oznacen skalarni proizvod u [inlmath]\mathbb{R}^n[/inlmath].
 
Postovi: 593
Zahvalio se: 15 puta
Pohvaljen: 560 puta

Re: Gradijent funkcije, linearna regresija

Postod gavra » Nedelja, 10. Decembar 2017, 01:16

Hvala puno!
gavra  OFFLINE
 
Postovi: 18
Zahvalio se: 7 puta
Pohvaljen: 0 puta


Povratak na LINEARNA ALGEBRA

Ko je OnLine

Korisnici koji su trenutno na forumu: Nema registrovanih korisnika i 4 gostiju

cron

Index stranicaTimObriši sve kolačiće boarda
Danas je Ponedeljak, 19. Avgust 2019, 10:15 • Sva vremena su u UTC + 1 sat [ DST ]
Pokreće ga phpBB® Forum Software © phpBB Group
Prevod – www.CyberCom.rs