@Ilija, ako može par komentara i pitanja u vezi s tvojim postupkom.
Ilija je napisao:Postavim uslov za [inlmath]p[/inlmath], i on glasi [inlmath]p\in[-1,1][/inlmath]. Pa uvedem smenu [inlmath]1+\sqrt{1-p}=t[/inlmath],
i tu bi sad trebalo postaviti uslov [inlmath]t\in\left[1,\;1+\sqrt2\right][/inlmath], što sledi iz [inlmath]p\in\left[-1,1\right][/inlmath]. Verujem da si ovo i imao na umu samo nisi napisao, ali eto, čisto da napomenem.
Ilija je napisao:Pa uvedem smenu [inlmath]1+\sqrt{1-p}=t[/inlmath], na osnovu cega cemo dobiti da je [inlmath]\sqrt{1+p}=\sqrt{1+2t-t^2}[/inlmath],
Tu bi takođe valjalo malo prokomentarisati. Dobijamo [inlmath]\sqrt{1-p}=t-1[/inlmath], pa sad uočavamo da je leva strana nenegativna (kvadratni koren), a da je takođe i desna strana nenegativna zbog toga što [inlmath]t[/inlmath] ne može biti manje od jedinice (uslov koji sam malopre napisao za interval [inlmath]t[/inlmath]). Zbog toga što su obe strane jednačine nenegativne, možemo ih bez problema kvadrirati, čime dobijamo [inlmath]1-p=t^2-2t+1[/inlmath], odatle [inlmath]1+p=1+2t-t^2[/inlmath], to jest [inlmath]\sqrt{1+p}=\sqrt{1+2t-t^2}[/inlmath].
Ilija je napisao:[dispmath]\sqrt{1+2t-t^2}\sin x=t-\cos x[/dispmath]
Onda kvadriramo, pa dobijamo:
[dispmath]\left(1+2t-t^2\right)\sin^2x=t^2-2t\cos x+\cos^2x[/dispmath]
Ovaj korak mi je problematičan. OK, desna strana je očigledno nenegativna, jer je [inlmath]t[/inlmath] najmanje jedan a kosinus ne može biti veći od jedinice. Ali, šta je s levom stranom? Sinus može biti i pozitivan i negativan, a kvadriranjem se gubi informacija o njegovom znaku.

Ilija je napisao:[dispmath]D=8t^4-24t^3+24t+8\ge0\\
t\in\left(-\infty,\;\frac{1-\sqrt5}{2}\right]\cup\left[1-\sqrt2,\;\frac{1+\sqrt5}{2}\right]\cup\left[1+\sqrt2,\;+\infty\right)[/dispmath]
Na koji način si rešio ovu (ne)jednačinu četvrtog stepena?

Ja bih ponudio jedno drugačije rešenje. Koristio bih transformaciju [inlmath]A\sin x+B\cos x=a\sin\left(x+\varphi\right)[/inlmath], pri čemu je [inlmath]a=\sqrt{A^2+B^2}[/inlmath] (videti
ovaj post). Primenom te transformacije dobijamo
[dispmath]\sqrt{1^2+\left(\sqrt{1+p}\right)^2}\sin\left(x+\varphi\right)=1+\sqrt{1-p}\\
\sqrt{p+2}\sin\left(x+\varphi\right)=1+\sqrt{1-p}[/dispmath]
Odatle vidimo da [inlmath]\sin\left(x+\varphi\right)[/inlmath] mora biti pozitivan (jer su i izraz [inlmath]\sqrt{p+2}[/inlmath] i izraz [inlmath]1+\sqrt{1-p}[/inlmath] pozitivni). Dakle, [inlmath]\sin\left(x+\varphi\right)\in\left(0,1\right][/inlmath]. Prema tome, iz prethodne jednačine sledi da je
[dispmath]\sqrt{p+2}\ge1+\sqrt{1-p}[/dispmath]
čime smo dobili jednostavnu iracionalnu nejednačinu. Budući da su obe njene strane pozitivne, možemo je komotno kvadrirati, sigurni da se time neće promeniti smer znaka nejednakosti,
[dispmath]p+2\ge1+2\sqrt{1-p}+1-p\\
\cancel2p\ge\cancel2\sqrt{1-p}\\
p\ge\sqrt{1-p}\\[/dispmath]
Pošto je desna strana nenegativna, postavljamo uslov da i leva strana mora biti nenegativna (jer nije manja od desne strane), tj. da je [inlmath]p\ge0[/inlmath], a zatim kvadriramo:
[dispmath]p^2\ge1-p\\
p^2+p-1\ge0\\
\vdots[/dispmath]