Lời giải:
Lấy phương trình (1) nhân với $11$ rồi trừ đi phương trình (2) ta có:
\(11(x^2-y^2)-(x^2+y^2)=(11-11xy)-(3xy+11)\)
\(\Leftrightarrow 10x^2-12y^2=-14xy\)
\(\Leftrightarrow 5x^2-6y^2+7xy=0\)
\(\Leftrightarrow (5x-3y)(x+2y)=0\)
TH1 : \(5x-3y=0\Leftrightarrow x=\frac{3}{5}y\)
Thay vào PT(1): \(\Rightarrow \frac{-16}{25}y^2=1-\frac{3}{5}y^2\Leftrightarrow \frac{-1}{25}y^2=1\) (vô lý)
TH2: \(x+2y=0\Leftrightarrow x=-2y\)
\(\Leftrightarrow 3y^2=1+2y^2\Leftrightarrow y^2=1\)
\(\Leftrightarrow y=\pm 1\Rightarrow x=\mp 2\) (thử lại thấy đúng)
Vậy \((x,y)=(2; -1); (-2; 1)\)