OK, ovako bi to išlo... Dobio si, znači, sledeći izraz:
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}+\frac{\frac{-2x^2+12x-16}{\left(x^2-6x+10\right)^2}}{\sqrt{1-\left(\frac{2x-6}{x^2-6x+10}\right)^2}}[/dispmath]
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}+\frac{\frac{-2x^2+12x-16}{\left(x^2-6x+10\right)^2}}{\sqrt{\frac{\left(x^2-6x+10\right)^2-\left(2x-6\right)^2}{\left(x^2-6x+10\right)^2}}}[/dispmath]
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}+\frac{\frac{-2x^2+12x-16}{\left(x^2-6x+10\right)^2}}{\frac{1}{\left|x^2-6x+10\right|}\sqrt{\left(x^2-6x+10\right)^2-\left(2x-6\right)^2}}[/dispmath]
Pošto je izraz [inlmath]\left(x^2-6x+10\right)[/inlmath] uvek veći od nule (to smo ranije konstatovali, možemo se osloboditi apsolutne vrednosti, pri čemu dolazi do skraćivanja kvadrata gore i tog izraza dole:
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}+\frac{\left(-2\right)\left(x^2-6x+8\right)}{\left(x^2-6x+10\right)\sqrt{\left(x^4+36x^2+100-12x^3-120x+20x^2\right)-\left(4x^2-24x+36\right)}}[/dispmath]
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2\left(x^2-6x+8\right)}{\left(x^2-6x+10\right)\sqrt{x^4-12x^3+52x^2-96x+64}}[/dispmath]
Polinom [inlmath]x^2-6x+8[/inlmath] ima dve realne nule, [inlmath]2[/inlmath] i [inlmath]4[/inlmath], pa ga možemo pisati kao [inlmath]\left(x-2\right)\left(x-4\right)[/inlmath]:
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2\left(x-2\right)\left(x-4\right)}{\left(x^2-6x+10\right)\sqrt{x^4-12x^3+52x^2-96x+64}}[/dispmath]
I sad proveravamo nasumice da li polinom [inlmath]4.[/inlmath] stepena koji se nalazi ispod korena možda ima faktore takve da može da se nešto krati s izrazom u brojiocu. Da bi moglo da se krati, pošto je on pod korenom, potrebno je da ima faktor [inlmath]\left(x-2\right)^2[/inlmath] ili [inlmath]\left(x-4\right)^2[/inlmath]. Proverićemo prvo njegovu deljivost sa [inlmath]\left(x-2\right)^2[/inlmath], tj. sa [inlmath]\left(x^2-4x+4\right)[/inlmath]:
[inlmath]x^4-12x^3+52x^2-96x+64\: :\:x^2-4x+4=x^2-8x+16\\
\underline{x^4-4x^3+4x^2}\\
\phantom{x^4}-8x^3+48x^2-96x+64\\
\phantom{x^4}\underline{-8x^3+32x^2-32x}\\
\phantom{x^4-8x^3+}16x^2-64x+64\\
\phantom{x^4-8x^3+}\underline{16x^2-64x+64}\\
\phantom{x^4-8x^3+16x^2-64x+}0[/inlmath]
Kao što vidimo, ostatak je [inlmath]0[/inlmath], što znači da je polinom pod korenom deljiv sa [inlmath]\left(x^2-4x+4\right)[/inlmath], tj. sa [inlmath]\left(x-2\right)^2[/inlmath]. Rezultat ovog deljenja je polinom [inlmath]\left(x^2-8x+16\right)[/inlmath], što predstavlja kvadrat binoma [inlmath]\left(x-4\right)^2[/inlmath]. To znači da je polinom pod korenom jednak [inlmath]\left(x-2\right)^2\left(x-4\right)^2[/inlmath]:
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2\left(x-2\right)\left(x-4\right)}{\left(x^2-6x+10\right)\sqrt{\left(x-2\right)^2\left(x-4\right)^2}}[/dispmath]
Savršeno.

[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2\left(x-2\right)\left(x-4\right)}{\left(x^2-6x+10\right)\left|x-2\right|\cdot\left|x-4\right|}[/dispmath]
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2\left(x-2\right)\left(x-4\right)}{\left(x^2-6x+10\right)\left(x-2\right)\mathrm{sgn}\left(x-2\right)\cdot\left(x-4\right)\mathrm{sgn}\left(x-4\right)}[/dispmath]
Sada možemo kratiti [inlmath]\left(x-2\right)[/inlmath] i [inlmath]\left(x-4\right)[/inlmath] u brojiocu i imeniocu, ali pri tom moramo naglasiti da za [inlmath]x=2[/inlmath] i za [inlmath]x=4[/inlmath] funkcija nije diferencijabilna, tj. u tim tačkama izvod nije definisan, jer bi predstavljao izraz u kome se nula deli nulom.
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2}{\left(x^2-6x+10\right)\mathrm{sgn}\left(x-2\right)\cdot\mathrm{sgn}\left(x-4\right)}[/dispmath]
Pošto za [inlmath]t\ne 0[/inlmath] signum funkcija može imati samo dve vrednosti, [inlmath]-1[/inlmath] i [inlmath]1[/inlmath], znači da je [inlmath]\frac{1}{\mathrm{sgn}\left(t\right)}=\mathrm{sgn}\left(t\right)[/inlmath], pa može da pređe u brojilac:
[dispmath]f\:'\!\left(x\right)=\frac{1}{2}-\frac{2\mathrm{sgn}\left(x-2\right)\mathrm{sgn}\left(x-4\right)}{x^2-6x+10}[/dispmath]
Iz ovog postupka ne možemo direktno zaključiti da li tačke [inlmath]x=2[/inlmath] i [inlmath]x=4[/inlmath] predstavljaju ekstreme ili ne. To možemo saznati ispitujući ostale osobine funkcije levo i desno od ovih tačaka. Iz ovog postupka možemo samo zaključiti to, da u navedenim tačkama funkcija nije diferencijabilna, a to, grafički gledano, znači da u navedenim tačkama funkcija nije glatka, već ima „šiljke“. To je i logično, budući da je kroz „šiljak“ nemoguće jednoznačno odrediti tangentu, tako da ni izvod, koji predstavlja nagib tangente u toj tački, nije definisan.
Za dobijeni izraz je sad lako odrediti kada je on jednak nuli, tako što se zasebno ispituju slučajevi kada je koja signum funkcija jednaka [inlmath]-1[/inlmath], a kada [inlmath]1[/inlmath]...
To prepuštam tebi...
