@apples,
proverio sam rešenje homogene d.j.
tačno je.

apples je napisao:[dispmath]y_h(x)=c_1x^6+c_2x^a;\;c_1,c_2\in\mathbb{R}[/dispmath]

Provera se inače lako radi tako što se nađu prvi i drugi izvod ovog [inlmath]y_h(x)[/inlmath] i to zameni u polaznu homogenu: [inlmath]x^2y''-(a+5)xy'+6ay=0[/inlmath]
Ali...
Uvek fali neko "ali"
Ovde je potrebno razgraničiti dva slučaja:

• [inlmath]a\ne6[/inlmath]
• [inlmath]a=6[/inlmath]

Ti si dalje razmatrao samo [inlmath]a\ne6[/inlmath].
Za [inlmath]a=6[/inlmath] dalje se dobija:
[dispmath]y_h(x)=c_1x^6+c_2x^6=(c_1+c_2)x^6=cx^6[/dispmath]
To naravno nije dobro, jer opšte rešenje dj. drugog reda mora sadržati dve konstante.
Zamenom se dobija da je ok, ali se jedno rešenje gubi.
To je slučaj kada je diskriminanta karakteristične (kvadratne) jednačine jednaka nuli (koreni karakteristične jednačine su realni i jednaki), tj. oba partikularna rešenja homogene su ti linearno zavisna.
Našao si za [inlmath]a=6[/inlmath] samo jedno rešenje, drugim rečima.
Druga grana ovog zadatka ide prema:
[dispmath]a=6:\qquad y_{h_1}(x)=c_1x^6+c_2x^6\ln x[/dispmath]
Ovo, naravno, zbog smene, tipične za Ojlerovu dj: [inlmath]t=\ln x\quad x=e^t[/inlmath]

Navodim i teoremu (bez dokaza):
Kada su partikularna rešenja d.j. linearno zavisna, Vronskijeva determinanta (W, Vronskijan) jednaka je nuli.
Odatle se može uočiti grana [inlmath]a=6[/inlmath]. Mada ne samo odatle.

Hvala na objasnjenju, bas cu da "sednem" da odradim taj zadatak ispocetka na papiru (za sad).
Imam jedno pitanje, nevezano za prethodno: U kojoj literaturi bih mogao da nadjem dobar dokaz za Pikarovu i Peanovu teoremu (egzistencija i jedinstvenost resenja linearne DJ)? Hvala jos jednom.

I još jedna sugestija.
Zar nije jednostavnije u dj na samom početku uvesti tipičnu smenu:
[dispmath]t=\ln x\quad x=e^t\qquad y'=\frac{1}{x}y'(t)\qquad y''=\frac{1}{x^2}\big(y''(t)-y'(t)\big)[/dispmath]
Ovim se polazna dj svodi prema:
[dispmath]x^2y''-(a+5)xy'+6ay=\sin(\ln x)+x^b\ln(x)[/dispmath][dispmath]y''(t)-(a+6)y'(t)+6ay(t)=\sin t+te^{bt}[/dispmath]
Odavde odmah imamo [inlmath]r_1=a\quad r_2=6[/inlmath]
E onda već pokazano grananje za [inlmath]a[/inlmath] a posle biva toga i u vezi sa [inlmath]b[/inlmath].
I na samom kraju, kada se dobije rešenje po [inlmath]t[/inlmath] u svim grananjima, vrati se smena [inlmath]t=\ln x[/inlmath].
Zadatak je izuzetno edukativan

Definitivno je tako elegantnije. Treba teziti maksimalnom uproscavanju polaznog problema, sto nije uvek slucaj kada sam ja u pitanju (ali konvergiram ka tome).

apples je napisao:Imam jedno pitanje, nevezano za prethodno: U kojoj literaturi bih mogao da nadjem dobar dokaz za Pikarovu i Peanovu teoremu (egzistencija i jedinstvenost resenja linearne DJ)? Hvala jos jednom.

Jedan od principa Matemanije (po mom mišljenju, no mislim da će se i Daniel složiti) je da se bez preke potrebe ne daju linkovi ka "spolja".
Evo kako ja razmišljam:
Bolje je problem rešiti kod svoje kuće (na Matemaniji) nego ići kod komšije, makar taj komšija bio... ko god
Naravno da to nije obaveza, nije ni našim pravilnikom sasvim precizirano.
To, naravno, ne znači da Matemanija sve zna najbolje, taman posla, ne mislim ja to. Nikada se nismo postavljali iznad bilo koga, niti ćemo.
Mi se, jednostavno, trudimo da odgovorimo i pomognemo, i zahvalni smo svim našim zaslužnim forumašima i korisnicima koji to isto rade.
Svi smo Matemanija.
A na Matemaniji (bez lažne skromnosti) postoji impresivna zbirka onlajn rešenih zadataka, i to u Latexu koji je predominantan alat za pisanje recimo i naučnih radova na SCI listi.
Mnogo je i autora i autoriteta. Neki su kvazi, većina nisu.
Ali, tvoje pitanje je sasvim na mestu, jer se interesuješ za literaturu.
To jest za teoriju, dokaze i pojašnjenja, a mi se time ovde retko bavimo.
Imam ja puno knjiga raznih autora na tu temu i na ostale teme, no nije primereno duhu Matemanije da ih preporučujem. Ne smatram sebe niti autorom niti autoritetom.
Jednostavno volim matematiku. I Matemaniju.
I na kraju: kucajući u gugl "Pikarova i Peanova teorema" našao sam bar [inlmath]5[/inlmath] (pet) sjajnih linkova ka teoriji i dokazima. Neki su i .pdf.
Ne mislim pri tome na nereprezentativne izvore.
Prepoznaćeš i sam koji su reprezentativni.
Pozdrav.

[dispmath]x^2\frac{\partial^2\left(x^\mu\right)}{\partial x^2}-(a+5)x\frac{\partial\left(x^\mu\right)}{\partial x}+6a\left(x^\mu\right)=0\\
\left.\mu^2x^\mu-(a+6)\mu x^\mu+6ax^\mu=0\quad\right/:x^\mu,\;x\neq0\quad(1)[/dispmath] Gde nestane ovaj [inlmath]x^2[/inlmath] ispred drugog izvoda i zasto se u zagradi promeni sa [inlmath]a+5[/inlmath] na [inlmath]a+6[/inlmath] ?

Znači, pošto smo pretpostavili [inlmath]y=x^\mu[/inlmath] i dobili
[dispmath]x^2\frac{\partial^2\left(x^\mu\right)}{\partial x^2}-(a+5)x\frac{\partial\left(x^\mu\right)}{\partial x}+6ax^\mu=0[/dispmath] sada tražimo prvi i drugi izvod:
[inlmath]\displaystyle\frac{\partial\left(x^\mu\right)}{\partial x}=\mu x^{\mu-1}\\
\displaystyle\frac{\partial^2\left(x^\mu\right)}{\partial x^2}=\frac{\partial\left(\mu x^{\mu-1}\right)}{\partial x}=\mu\frac{\partial\left(x^{\mu-1}\right)}{\partial x}=\mu(\mu-1)x^{\mu-2}[/inlmath]
Uvrstimo to u prethodnu jednačinu i dobijemo
[dispmath]x^2\mu(\mu-1)x^{\mu-2}-(a+5)x\mu x^{\mu-1}+6ax^\mu=0[/dispmath] Naravno, [inlmath]x^2\cdot x^{\mu-2}=x^\mu[/inlmath] i [inlmath]x\cdot x^{\mu-1}=x^\mu[/inlmath],
[dispmath]\mu(\mu-1)x^\mu-(a+5)\mu x^\mu+6ax^\mu=0[/dispmath] Na taj način je nestalo ono [inlmath]x^2[/inlmath] ispred drugog izvoda, što je odgovor na tvoje prvo pitanje (a takođe je nestao i [inlmath]x[/inlmath] ispred prvog izvoda). Idemo dalje,
[dispmath]\mu^2x^\mu-\underbrace{\mu x^\mu-(a+5)\mu x^\mu}+6ax^\mu=0\\
\mu^2x^\mu-\bigl(1+(a+5)\bigr)\mu x^\mu+6ax^\mu=0\\
\mu^2x^\mu-(a+6)\mu x^\mu+6ax^\mu=0[/dispmath] čime se došlo do oblika koji te zbunjivao. Dalje se, naravno, podeli sa [inlmath]x^\mu[/inlmath]...