Ta có phương trình \(x^2-2\left(m-1\right)x-3=0\) có a và c trái dấu (1 và -3 là 2 số trái dấu) nên phương trình trên có 2 nghiệm x1,x2 với mọi m
Theo định lí Vi-ét ta có \(\left\{{}\begin{matrix}x_1+x_2=\frac{-b}{a}=\frac{2\left(m-1\right)}{1}=2m-2\\x_1x_2=\frac{c}{a}=\frac{-3}{1}=-3\end{matrix}\right.\)
Ta lại có \(\frac{x_1}{x_2^2}+\frac{x_2}{x_1^2}=m-1\Leftrightarrow\frac{x_1^3+x_2^3}{x_1^2x_2^2}=m-1\Leftrightarrow\frac{\left(x_1+x_2\right)\left(x_1^2-x_1x_2+x_2^2\right)}{\left(x_1x_2\right)^2}=m-1\Leftrightarrow\frac{\left(2m-2\right)\left(x_1^2+2x_1x_2+x_2^2-3x_1x_2\right)}{\left(-3\right)^2}=m-1\Leftrightarrow\left(2m-2\right)\left[\left(x_1+x_2\right)^2-3x_1x_2\right]=9m-9\Leftrightarrow\left(2m-2\right)\left[\left(2m-2\right)^2-3.\left(-3\right)\right]=9\left(m-1\right)\Leftrightarrow2\left(m-1\right)\left(4m^2-8m+4+9\right)=9\left(m-1\right)\Leftrightarrow2\left(m-1\right)\left(4m^2-8m+13\right)-9\left(m-1\right)=0\Leftrightarrow\left(m-1\right)\left[2\left(4m^2-8m+13\right)-9\right]=0\Leftrightarrow\left(m-1\right)\left(8m^2-16m+26-9\right)=0\Leftrightarrow\left(m-1\right)\left(8m^2-16m+17\right)=0\left(1\right)\)
Vì \(8m^2-16m+17>0\)
Vậy (1)\(\Leftrightarrow m-1=0\Leftrightarrow m=1\)
Vậy m=1 thì \(\frac{x_1}{x_2^2}+\frac{x_2}{x_1^2}=m-1\)