Lời giải:
ĐKXĐ: $x\geq 1$
PT $\Leftrightarrow 5\sqrt{(x-1)(x^2+x+1)}=2(x^2+2)$
Đặt $\sqrt{x-1}=a; \sqrt{x^2+x+1}=b(a,b\geq 0$)
PT trở thành:
$5ab=2(b^2-a^2)$
$\Leftrightarrow 2a^2+5ab-2b^2=0$
Dễ thấy $b\neq 0$ nên chia cả 2 vế cho $b^2$ thì:
PT $\Leftrightarrow 2(\frac{a}{b})^2+5\frac{a}{b}-2=0$
Đặt $\frac{a}{b}=t$ thì:
$2t^2+5t-2=0$
$\Rightarrow t=\frac{-5\pm \sqrt{41}}{4}$
Do $a\geq 0; b>0$ nên $t\geq 0$. Do đó $t=\frac{-5+\sqrt{41}}{4}$
$\Leftrightarrow \sqrt{x-1}=(\frac{-5+\sqrt{41}}{4})\sqrt{x^2+x+1}$
Bình phương 2 vế rồi giải tiếp pt bậc 2 ta được:
\(x=\frac{1}{16}[5(5+\sqrt{41})\pm \sqrt{338+90\sqrt{41}}]\)