Pozdrav. Imam postupak nalazenja gradijenta, ali mi nije potpuno jasan.
Potrebno mi je da nadjem gradijent ove funkcije: [inlmath]J(\omega)=\sum\limits_{n=1}^N\left(\omega^TX_n-t_n\right)^2[/inlmath], gde su [inlmath]\omega[/inlmath] i [inlmath]t[/inlmath] vektori, a [inlmath]X[/inlmath] matrica. [inlmath]X_n[/inlmath] je red u matrici, a [inlmath]t_n[/inlmath] je skalar.
I sad imam ovo:
[dispmath]J(\omega)=\sum_{n=1}^N\left(\omega^TX_n-t_n\right)^2=\\
\sum_{n=1}^N(X\omega-t)_n^2=||X\omega-t||^2=(X\omega-t)^T(X\omega-t)=\\
\omega^TX^TX\omega-\omega^TX^Tt-t^TX\omega+t^Tt[/dispmath] I sad racunam gradijent po [inlmath]\omega[/inlmath], (a to valjda znaci da mi treba samo parcijalni izvod po [inlmath]\omega[/inlmath]?)
[dispmath]\nabla_{\omega}J(\omega)=\left(X^TX+\left(X^TX\right)^T\right)\omega-2X^Tt =\\
2X^TX\omega-2X^Tt[/dispmath] Ovde treba da iskoristim neke resene primere odavde navodno sa 10. i 11. strane da bih nasao gradijent.
Ono sto mi nije jasno je ovaj prvi red gde racunamo gradijent. Kako se dobilo [inlmath]\left(X^TX+\left(X^TX\right)^T\right)\omega-2X^Tt[/inlmath] iz prethodnog koraka? Tu valjda koristimo identitete iz ovog pdf-a, ali ne vidim kako.
Naravno, postoji mogucnost da je resenje lose prepisano, ali se nadam da nije. Hvala puno unapred.