Điều kiện: $\left\{\begin{matrix} 2y(x+1)\geq 0\\x\geq -3 \\y\geq 1 \\ x^2+x+2y-4\geq 0 \end{matrix}\right.$
$\Leftrightarrow \left\{\begin{matrix} x\geq -1\\ y\geq 1\\x^2+x+2y-4\geq 0 \end{matrix}\right.$
$(1)\Leftrightarrow 2(x+3y+1)\sqrt{2xy+2y}=6xy+8y^2+6y$
$\Leftrightarrow [(x+3y+1)-\sqrt{2xy+2y}]^2-(x+y+1)^2=0$
$\Leftrightarrow (x+3y+1-\sqrt{2xy+2y}-x-y-1)(x+3y+1-\sqrt{2xy+2y}+x+y+1)=0$
$\Leftrightarrow \begin{bmatrix} 2y=\sqrt{2xy+2y} (A)\\ 2x+4y+2=\sqrt{2xy+2y} (B) \end{bmatrix}$
+) iải (A):
(A)<=> $4y^2=2xy+2y$
<=> $\begin{bmatrix} y=0 (loại vì y \geq 1)\\ 2y=x+1 \end{bmatrix}$
thế $2y=x+1$ vào (2) => nhân liên hợp 2 căn được pt: $x-3+\sqrt{x^2+2x-3}=\sqrt{x+3}+\sqrt{x-1}$ => bình phương => rút gọn được pt sau:
$(\sqrt{x^2+2x-3}+x-4)^2=9$ => giải được 2 nghiệm
+) giải (B):
(B) <=> $(\sqrt{2y}-\sqrt{x-1})^2+3(x+2y+1)=0$
Vì $\left\{\begin{matrix} x\geq -1\\ y\geq 1 \end{matrix}\right.$ => pt vô nghiệm