Lời giải:
Nếu \(x=0\Rightarrow x^2y^2=-1\) (vô lý)
Nếu \(y=0\Rightarrow 6x^2=0\Leftrightarrow x=0\).Thay vào pt (2) thì \(1=5x^2=0\) (vô lý)
Vậy \(x,y\neq 0\)
PT tương đương: \(\left\{\begin{matrix} y(1+xy)=6x^2\\ (xy+1)^2-2xy=5x^2\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} xy+1=\frac{6x^2}{y}\\ (xy+1)^2-2xy=5x^2\end{matrix}\right.\)
\(\Rightarrow \left(\frac{6x^2}{y}\right)^2-2xy=5x^2\)
\(\Leftrightarrow \frac{36x^3}{y^2}-2y=5x\) (do \(x\neq 0\) )
\(\Leftrightarrow 36x^3-2y^3=5xy^2\)
Đặt \(x=ty\Rightarrow 36t^3y^3-2y^3-5ty^3=0\)
\(\Leftrightarrow 36t^3-2-5t=0\) (do \(y\neq 0\) )
\(\Leftrightarrow (2t-1)(18t^2+9t+2)=0\)
Thấy rằng \(18t^2+9t+2=18(t+\frac{1}{4})^2+\frac{7}{8}>0\) nên \(2t-1=0\)
\(\Leftrightarrow t=\frac{1}{2}\Leftrightarrow x=\frac{y}{2}\Leftrightarrow 2x=y\)
Thay vào PT (1)
\(2x+4x^3=6x^2\Leftrightarrow 1+2x^2-3x=0\) (do x khác 0)
\(\Leftrightarrow (2x-1)(x-1)=0\)
Nếu \(x=\frac{1}{2}\Rightarrow y=1\)
Nếu \(x=1\Rightarrow y=2\)
Thử lại thấy thỏa mãn.
Vậy \((x,y)\in \left\{(\frac{1}{2};1); (1;2)\right\}\)