\(pt\Leftrightarrow\left(x^2+y^2+1\right)^2-5\left(x^2+y^2+1\right)=-y^2\)
\(\Leftrightarrow\left(x^2+y^2+1\right)\left(x^2+y^2-4\right)=-y^2\)
Gọi d là UWCLN của x2+y2+1 và x2+y2-4
\(\Rightarrow\hept{\begin{cases}x^2+y^2+1⋮d\\x^2+y^2-4⋮d\end{cases}}\Rightarrow\left(x^2+y^2+1\right)\left(x^2+y^2-4\right)⋮d^2\Rightarrow y^2⋮d^2\Rightarrow y^2⋮d\Rightarrow\hept{\begin{cases}x^2+1⋮d\\x^2-4⋮d\end{cases}}\Rightarrow5⋮d\)
\(\Rightarrow\hept{\begin{cases}x^2-5+6⋮d\\x^2+5-9⋮d\end{cases}}\Rightarrow\hept{\begin{cases}x^2+6⋮d\\x^2-9⋮d\end{cases}}\Rightarrow3⋮d\)
Do \(\left(3,5\right)=1\)
\(\Rightarrow d=1\)
\(\Rightarrow\hept{\begin{cases}x^2+y^2+1=a^2\\x^2+y^2-4=b^2\end{cases}\Rightarrow}a^2-1=b^2+4\Rightarrow a^2-b^2=5\Rightarrow\left(a-b\right)\left(a+b\right)=5\)
Sau đó lập bảng xét các ước của 5 ta tìm được a và b, sau khi tìm được a và b ta sẽ tìm được x và y