Điều kiện : \(y\ge-1\)
Xét (1) : \(\left(1-y\right)\sqrt{x^2+2y^2}=x+2y+3xy\)
Đặt \(\sqrt{x^2+2y^2}=t\left(t\ge0\right)\)
Phương trình (1) trở thành :
\(t^2+\left(1-y\right)t-x^2-2y^2-x-2y-3xy=0\)
\(\Delta=\left(1-y\right)^2+4\left(x^2+2y^2+x+2y+3xy\right)=\left(2x+3y+1\right)^2\)
\(\Rightarrow\begin{cases}t=-x-y-1\\t=x+2y\end{cases}\) \(\Leftrightarrow\begin{cases}\sqrt{x^2+2y^2}=-x-y-1\\\sqrt{x^2+2y^2}=x+2y\end{cases}\)
Với \(\sqrt{x^2+2y^2}=-x-y-1\) thay vào (2) ta có :
\(\sqrt{y+1}=3y+1\Leftrightarrow\begin{cases}y\ge-\frac{1}{3}\\9y^2+5y=0\end{cases}\)\(\Leftrightarrow y=0\)
\(\Rightarrow\sqrt{x^2}=-x-1\) (vô nghiệm)
Với \(\sqrt{x^2+2y^2}=x+2y\), ta có hệ \(\begin{cases}\sqrt{y+1}=-2x\\\sqrt{x^2+2y^2}=x+2y\end{cases}\)\(\Leftrightarrow\begin{cases}x=\frac{-1-\sqrt{5}}{4}\\y=\frac{1+\sqrt{5}}{2}\end{cases}\)
Vậy hệ phương trình có nghiệm \(\left(x;y\right)=\left(\frac{-1-\sqrt{5}}{4};\frac{1+\sqrt{5}}{2}\right)\)