Mnogo mi je ovo nesto kompleksno i ima bas puno uslova, resenje koje je dato je mnogo jednostavnije od ovoga [dispmath]f(-2)\cdot f(3)<0[/dispmath][dispmath](5m+5)\cdot(20-5m)<0[/dispmath][dispmath]m<-1\quad m>4[/dispmath]

Dobra dosetka, moram priznati. Nisam se toga setio. Zaista, ako se u intervalu [inlmath]\left(-2,3\right)[/inlmath] nalazi tačno jedna nula a funkcija je neprekidna, kao što jeste, onda će vrednosti funkcije na jednoj i na drugoj granici intervala imati međusobno suprotne predznake, to je logično. Ipak, ovim postupkom se ne obuhvataju još neki slučajevi koji su po uslovu zadatka dozvoljeni, a to je da jedno rešenje bude unutar intervala [inlmath]\left(-2,3\right)[/inlmath], a drugo rešenje da bude na tačno nekoj od granica tog intervala (tj. da bude [inlmath]-2[/inlmath] ili [inlmath]3[/inlmath]), pa je zbog toga potrebno onda dodatno ispitati i te slučajeve.
Ne razumem samo, kako su u tom rešenju koje si prikazao, iz [inlmath]f\left(-2\right)\cdot f\left(3\right)<0[/inlmath] dobili [inlmath]\left(5m+5\right)\cdot\left(20-5m\right)<0[/inlmath] i, zatim, [inlmath]m<-1,\;m>4[/inlmath]. To nije tačno rešenje. Tačno rešenje je ono koje sam napisao, a evo i kako se do njega dolazi:

Znači, napišemo uslov da funkcija na granicama datog intervala ima vrednosti sa međusobno suprotnim predznacima, a to će značiti da je proizvod tih vrednosti manji od nule:
[dispmath]f\left(-2\right)\cdot f\left(3\right)<0[/dispmath]
Pa onda uvrstimo odgovarajuće vrednosti u izraz za funkciju:
[dispmath]\left[\left(-2\right)^2+2\left(m-1\right)\left(-2\right)+m+5\right]\cdot\left[3^2+2\left(m-1\right)\cdot 3+m+5\right]<0[/dispmath][dispmath]\left(4-4m+4+m+5\right)\cdot\left(9+6m-6+m+5\right)<0[/dispmath][dispmath]\left(-3m+13\right)\cdot\left(7m+8\right)<0[/dispmath][dispmath]\left(-3m+13>0\quad\land\quad 7m+8<0\right)\quad\lor\quad\left(-3m+13<0\quad\land\quad 7m+8>0\right)[/dispmath][dispmath]\left(m<\frac{13}{3}\quad\land\quad m<-\frac{8}{7}\right)\quad\lor\quad\left(m>\frac{13}{3}\quad\land\quad m>-\frac{8}{7}\right)[/dispmath][dispmath]m<-\frac{8}{7}\quad\lor\quad m>\frac{13}{3}[/dispmath]
Ovo rešenje se razlikuje od mog rešenja iz prethodnog posta, [inlmath]m\le -\frac{8}{7}\;\lor\;m>\frac{13}{3}[/inlmath], a koje je provereno tačno, po ovom jednom znaku [inlmath]\le[/inlmath], upravo zato što ovim postupkom nisu obuhvaćeni oni granični slučajevi koje sam naveo. Njih treba posebno ispitati.

Prvo pretpostavimo da je [inlmath]f\left(-2\right)=0[/inlmath]. Tada, pošto ta jedna nula ne pripada intervalu [inlmath]\left(-2,3\right)[/inlmath] već njegovoj granici, da bismo taj slučaj usvojili kao rešenje, ona druga nula mora pripadati tom intervalu. Ispitujemo gde se u tom slučaju nalazi druga nula.
[dispmath]f\left(-2\right)=0[/dispmath][dispmath]\left(-2\right)^2+2\left(m-1\right)\left(-2\right)+m+5=0[/dispmath][dispmath]4-4m+4+m+5=0[/dispmath][dispmath]-3m+13=0[/dispmath][dispmath]m=\frac{13}{3}[/dispmath][dispmath]f\left(x\right)=x^2+2\left(m-1\right)x+m+5[/dispmath][dispmath]f\left(x\right)=x^2+2\left(\frac{13}{3}-1\right)x+\frac{13}{3}+5[/dispmath][dispmath]f\left(x\right)=x^2+\frac{20}{3}x+\frac{28}{3}[/dispmath][dispmath]f\left(x\right)=0\quad\Rightarrow\quad x^2+\frac{20}{3}x+\frac{28}{3}=0\quad\Rightarrow\quad 3x^2+20x+28=0[/dispmath][dispmath]x_{1,2}=\frac{-20\pm\sqrt{400-336}}{6}[/dispmath][dispmath]x_{1,2}=\frac{-20\pm 8}{6}[/dispmath][dispmath]x_{1,2}=\frac{-10\pm 4}{3}[/dispmath][dispmath]x_1=-\frac{14}{3},\quad x_2=-2[/dispmath]
Pošto [inlmath]-\frac{14}{3}\notin\left(-2,3\right)[/inlmath], ovaj slučaj ne usvajamo kao rešenje.

Sada pretpostavimo da je [inlmath]f\left(3\right)=0[/inlmath]. Tada, pošto ta jedna nula ne pripada intervalu [inlmath]\left(-2,3\right)[/inlmath] već njegovoj granici, da bismo taj slučaj usvojili kao rešenje, ona druga nula mora pripadati tom intervalu. Ispitujemo gde se u tom slučaju nalazi druga nula.
[dispmath]f\left(3\right)=0[/dispmath][dispmath]3^2+2\left(m-1\right)\cdot 3+m+5=0[/dispmath][dispmath]9+6m-6+m+5=0[/dispmath][dispmath]7m+8=0[/dispmath][dispmath]m=-\frac{8}{7}[/dispmath][dispmath]f\left(x\right)=x^2+2\left(m-1\right)x+m+5[/dispmath][dispmath]f\left(x\right)=x^2+2\left(-\frac{8}{7}-1\right)x-\frac{8}{7}+5[/dispmath][dispmath]f\left(x\right)=x^2-\frac{30}{7}x+\frac{27}{7}[/dispmath][dispmath]f\left(x\right)=0\quad\Rightarrow\quad x^2-\frac{30}{7}x+\frac{27}{7}=0\quad\Rightarrow\quad 7x^2-30x+27=0[/dispmath][dispmath]x_{1,2}=\frac{30\pm\sqrt{900-756}}{14}[/dispmath][dispmath]x_{1,2}=\frac{30\pm 12}{14}[/dispmath][dispmath]x_{1,2}=\frac{15\pm 6}{7}[/dispmath][dispmath]x_1=\frac{9}{7},\quad x_2=3[/dispmath]
Pošto [inlmath]\frac{9}{7}\in\left(-2,3\right)[/inlmath], ovaj slučaj usvajamo kao rešenje. Znači, [inlmath]m=-\frac{8}{7}[/inlmath]. I kad ovo rešenje dodamo prethodno dobijenom skupu rešenja [inlmath]m<-\frac{8}{7}\;\lor\;m>\frac{13}{3}[/inlmath], dobijamo tačno ono rešenje koje sam dobio u svom prethodnom postu:
[dispmath]m\le -\frac{8}{7}\quad\lor\quad m>\frac{13}{3}[/dispmath]

U tekstu ovog zadatka je uočena greška – tačan tekst zadatka, kao i rešenje, videti u ovoj temi.