Lời giải:
Đặt $x+y=a; xy=b$ thì pt $(1)$ trở thành:
$a^2-2b+\frac{8b}{a}=16$
$\Leftrightarrow (a^2-16)-2b(1-\frac{4}{a})=0$
$\Leftrightarrow (a-4)(a+4)-\frac{2b(a-4)}{a}=0$
$\Leftrightarrow (a-4)(a+4-\frac{2b}{a})=0$
TH1: $a=4\Leftrightarrow x+y=4$. Thay vô pt $(2)$:
$2x^2-5x+4-\sqrt{3x-2}=0$
$\Leftrightarrow (2x^2-5x+3)-(\sqrt{3x-2}-1)=0$
$\Leftrightarrow (2x-3)(x-1)-\frac{3(x-1)}{\sqrt{3x-2}+1}=0$
$\Leftrightarrow (x-1)(2x-3-\frac{3}{\sqrt{3x-2}+1})=0$
Nếu $x-1=0$ thì $x=1$ (tm) kéo theo $y=3$
Nếu $2x-3-\frac{3}{\sqrt{3x-2}+1}=0$
\(\Leftrightarrow 2(x-2)-(\frac{3}{\sqrt{3x-2}+1}-1)=0\)
\(\Leftrightarrow 2(x-2)-\frac{2-\sqrt{3x-2}}{\sqrt{3x-2}+1}=0\Leftrightarrow 2(x-2)+\frac{3(x-2)}{(\sqrt{3x-2}+1)(\sqrt{3x-2}+2)}=0\)
$\Rightarrow x=2$ kéo theo $y=2$
TH2: $a+4-\frac{2b}{a}=0$
$\Rightarrow a+4=\frac{2b}{a}$
$\Rightarrow 2a(a+4)=4b$
Theo BĐT AM-GM thì $a^2\geq 4b$ nên $2a(a+4)\leq a^2$
$\Rightarrow a^2+8a\leq 0$. Mà $a\geq 0$ (do đkxđ) nên $a=0; b=0$
Tức là $x=y=0$
$x=0$ thì không thỏa mãn đkxđ nên loại. Vậy......