Frank je napisao:dobijam da je [inlmath]\cos\angle ACB=\frac{1}{2\sqrt7}[/inlmath] (ni sam ne znam zasto sam uzeo znak plus kad nigde ne pise da je trougao ostrougli). Analogno i za [inlmath]\angle BAC[/inlmath], dobija se da je [inlmath]\cos\angle BAC=\frac{5}{2\sqrt7}[/inlmath].
Izgleda da si permutovao oznake [inlmath]\angle ACB[/inlmath] i [inlmath]\angle BAC[/inlmath], jer prema prethodnim oznakama, treba da se dobije [inlmath]|\cos\angle ACB|=\frac{\color{red}5}{2\sqrt7}[/inlmath] i [inlmath]|\cos\angle BAC|=\frac{\color{red}1}{2\sqrt7}[/inlmath]. Znači, obrnuto nego što si ti dobio.
E sad, što se tiče predznaka. Ako je trougao tupougli, tada se tup ugao mora nalaziti naspram najduže stranice. [inlmath]AB[/inlmath] nije najduža stranica (jer je po uslovu zadatka [inlmath]BC[/inlmath] triput duža) tako da je naspramni ugao, [inlmath]\angle ACB[/inlmath], sigurno oštar i njegov kosinus je pozitivan.
Međutim, ugao [inlmath]\angle BAC[/inlmath] je tup, što se može i pokazati time da, ako bi taj ugao bio prav, tada bi dužina [inlmath]BC[/inlmath] bila jednaka [inlmath]\frac{AB}{\cos\angle ABC}=2AB[/inlmath]. Pošto je stranica [inlmath]BC[/inlmath] dužine [inlmath]3AB[/inlmath], znači duža je od [inlmath]2AB[/inlmath], to i ugao [inlmath]\angle BAC[/inlmath] mora biti veći od pravog, tj. mora biti tup. Znači, njegov kosinus je negativan.
S korekcijom ovih grešaka, dobićeš ispravno rešenje.
Frank je napisao:Nije mi jasan predznak kosinusa u zadatku, ali ni funkcija apsolutnih zagrada u postavci zadatka, pa ako bi neko bio ljubazan da objasni.
To zapravo nisu apsolutne zagrade, već oznake za dužine stranica, tj. [inlmath]AB[/inlmath] je stranica, a [inlmath]|AB|[/inlmath] je dužina stranice [inlmath]AB[/inlmath]. Mada je uobičajenije da se za dužinu stranice koristi oznaka [inlmath]\overline{AB}[/inlmath], ili samo [inlmath]AB[/inlmath].
Da se ne bi petljao s predznacima kosinusa, preporučujem drugi način. Napišeš jednačine po kosinusnoj teoremi (nekako je i logičnije raditi preko kosinusne budući da se traži zbir kosinusa, zar ne),
[dispmath](3AB)^2=AB^2+AC^2-2AB\cdot AC\cos\angle BAC\\
AB^2=(3AB)^2+AC^2-2\cdot3AB\cdot AC\cos\angle ACB\\
AC^2=(3AB)^2+AB^2-2\cdot3AB\cdot AB\cos60^\circ[/dispmath] Iz prve dve jednačine izraziš [inlmath]\cos\angle BAC[/inlmath] i [inlmath]\cos\angle ACB[/inlmath] i sabereš ih, dobiješ [inlmath]\cos\angle BAC+\cos\angle ACB=\frac{2AC^2-8AB^2}{3AB\cdot AC}[/inlmath], a iz treće dobiješ vezu između [inlmath]AC[/inlmath] i [inlmath]AB[/inlmath], što zatim uvrstiš umesto [inlmath]AC[/inlmath] u izraz za zbir kosinusa...