Lời giải:
Điều kiện: \(\Delta'=m^2-4m+7>0\) (luôn đúng)
Áp dụng định lý Viete, nếu $x_1,x_2$ là nghiệm của PT trên thì:
\(\left\{\begin{matrix} x_1+x_2=2(m-1)\\ x_1x_2=2m-6\end{matrix}\right.\)
Do đó: \(A=\left ( \frac{x_1}{x_2} \right )^2+\left ( \frac{x_2}{x_1} \right )^2=\left (\frac{x_1}{x_2}+\frac{x_2}{x_1}\right)^2-2=\frac{(x_1^2+x_2^2)^2}{(x_1x_2)^2}-2\)
\(A=\left ( \frac{x_1}{x_2} \right )^2+\left ( \frac{x_2}{x_1} \right )^2=\left (\frac{x_1}{x_2}+\frac{x_2}{x_1}\right)^2-2\)
\(=\frac{(x_1^2+x_2^2)^2}{(x_1x_2)^2}-2=\frac{[(x_1+x_2)^2-2x_1x_2]^2}{(x_1x_2)^2}-2=\frac{[4(m-1)^2-2(2m-6)]^2}{(2m-6)^2}-2=\frac{16(m-1)^4-16(m-1)^2(2m-6)}{(2m-6)^2}+2\)
Để \(A\in\mathbb{Z}\Rightarrow 16(m-1)^4-16(m-1)^2(2m-6)\vdots (2m-6)^2\)
\(\Leftrightarrow 4(m-1)^4-8(m-1)^2(m-3)\vdots (m-3)^2\)
Xét điều kiện yếu hơn, \(\) \(4(m-1)^4-8(m-1)^2(m-3)\vdots m-3\Leftrightarrow 4(m-1)^4\vdots m-3\)
\(\Leftrightarrow 4[(m-1)^4-2^4]+2^6\vdots m-3\)
Vì \((m-1)^4-2^4\vdots m-3\Rightarrow 2^6\vdots m-3\). Mà \(m\in\mathbb{Z}^+\Rightarrow m-3\in \left \{\pm 1,\pm 2,4,8,16,32,64\right\}\)
Thử lại ta thu được \(m\in \left \{1,2,4, 5,7,11\right\}\)