Điều kiện \(\left\{{}\begin{matrix}\dfrac{4x-3x^2y-9xy^2}{x+3y}\ge0\\x+3y\ne0\end{matrix}\right.\)
Với \(3y\ge x\), hệ tương đương:
\(\left\{{}\begin{matrix}\left(x^4-2x^2+4\right)\left(x^2+2\right)=6x^5y\\\left(3y-x\right)^2=\dfrac{4x}{x+3y}-3xy\end{matrix}\right.\)
\(\Leftrightarrow\left\{{}\begin{matrix}x^6+8=6x^5y\left(1\right)\\x^3+27y^3=4x\end{matrix}\right.\left(I\right)\)
Vì \(x=0\) thì hệ vô nghiệm nên \(x\ne0\), khi đó:
\(\left(I\right)\Leftrightarrow\left\{{}\begin{matrix}1+\dfrac{8}{x^6}=\dfrac{6y}{x}\\1+\dfrac{27y^3}{x^3}=\dfrac{4}{x^2}\end{matrix}\right.\)
Đặt \(\dfrac{3y}{x}=a,\dfrac{2}{x^2}=b\) ta được hệ:
\(\Leftrightarrow\left\{{}\begin{matrix}1+a^3=2b\\1+b^3=2a\end{matrix}\right.\)
Giải hệ này ta được \(a=b\Leftrightarrow\dfrac{3y}{x}=\dfrac{2}{x^2}\Leftrightarrow y=\dfrac{2}{3x}\)
\(\left(1\right)\Leftrightarrow x^6-4x^4+8=0\)
\(\Leftrightarrow\left[{}\begin{matrix}x=\sqrt{2}\\x=-\sqrt{2}\\x=\sqrt{1+\sqrt{5}}\\x=-\sqrt{1+\sqrt{5}}\end{matrix}\right.\)
TH1: \(x=\sqrt{2}\Rightarrow y=\dfrac{\sqrt{2}}{3}\)
TH2: \(x=-\sqrt{2}\Rightarrow y=-\dfrac{\sqrt{2}}{3}\)
TH3: \(x=\sqrt{1+\sqrt{5}}\Rightarrow y=\dfrac{2}{3\sqrt{1+\sqrt{5}}}\)
TH4: \(x=-\sqrt{1+\sqrt{5}}\Rightarrow y=-\dfrac{2}{3\sqrt{1+\sqrt{5}}}\)
Đối chiếu với các điều kiện ta được \(\left(x;y\right)=\left(-\sqrt{1+\sqrt{5}};-\dfrac{2}{3\sqrt{1+\sqrt{5}}}\right)\)