\(\left\{\begin{matrix}5x^2y-4xy^2+3y^3-2\left(x+y\right)=0\left(1\right)\\xy\left(x^2+y^2\right)+2=\left(x+y\right)^2\left(2\right)\end{matrix}\right.\)
Ta có:
\( (2)\Leftrightarrow xy\left ( x^2+y^2 \right )=x^2+2xy+y^2 \\\ \Leftrightarrow\left (xy-1 \right )\left ( x^2+y^2-2 \right )=0\)
*)TH1: \(xy=1\) thay vào \((1)\) ta được:
\(5x-4y+3y^3-2(x+y)=0\)
\(\Leftrightarrow y^4-2y^2+1=0\)\(\Leftrightarrow y=\pm 1\Rightarrow x=\pm 1\)
*)TH2: \(x^2+y^2=2\).Thay vào 
\((1)\) ta được:
\(5x^2y-4xy^2+3y^3-(x^2+y^2)(x+y)=0\)
\(\Leftrightarrow 2y^3+4x^2y-5xy^2-x^3=0\)
\(\Leftrightarrow (y^3-x^3)+(y^3+4x^2y-5xy^2)=0\)
\(\Leftrightarrow (y-x)^2(2y-x)=0\)
Với \(x=y\) ta tìm được 2 nghiệm \((x;y)=(1;1); (-1;-1)\)
Với \(x=2y\) thay vào \(x^2+y^2=2\) ta tìm được \(y=\pm \sqrt{\frac{2}{5}}\Rightarrow x=\pm2\sqrt{\frac{2}{5}}\)
Vậy nghiệm của hệ phương trình đã cho là :\((x;y)=(1;1); (-1;-1); \left(2\sqrt{\frac{2}{5}};\sqrt{\frac{2}{5}}\right); \left(-2\sqrt{\frac{2}{5}};-\sqrt{\frac{2}{5}}\right) \)