\(5x^2+2xy+y^2-4x=40\)
\(\Leftrightarrow\left(4x^2-4x+1\right)+\left(x^2+2xy+y^2\right)=41\)
\(\Leftrightarrow\left(2x-1\right)^2+\left(x+y\right)^2=41\)
Vì x;y nguyên => 41 là tổng của 2 số CP
Ta có : \(41=16+25=4^2+5^2\)
Do \(\left(2x-1\right)^2\) là số CP lẻ \(\Rightarrow\left(2x-1\right)^2=5^2\Rightarrow\orbr{\begin{cases}2x-1=5\\2x-1=-5\end{cases}\Rightarrow\orbr{\begin{cases}x=3\\x=-2\end{cases}}}\)
\(\Rightarrow\left(x+y\right)^2=4^2\Rightarrow\orbr{\begin{cases}x+y=4\\x+y=-4\end{cases}}\)
Với \(x=3\Rightarrow3+y=4\Rightarrow y=1\)(TM)
Với \(x=-2\Rightarrow-2+y=-4\Rightarrow x=-2\)(TM)
Vậy \(\left(x;y\right)\in\left\{\left(3;1\right);\left(-2;-2\right)\right\}\)