Phương trình hoành độ giao điểm của (P) và (d):
\(x^2=2x-m+3\Leftrightarrow x^2-2x+m-3=0\left(1\right)\)
\(a=1;b=-2;c=m-3\Rightarrow b'=\dfrac{b}{2}=-1\)
\(\Delta'\left(1\right)=b'^2-ac=1^2-1.\left(m-3\right)=-m+4\)
Để phương trình (1) có 2 nghiệm phân biệt (hay (d) cắt (P) tại 2 điểm phân biệt) thì \(\Delta'\left(1\right)>0\Rightarrow-m+4>0\Leftrightarrow m< 4\)
Vì (d) cắt (P) tại 2 điểm phân biệt có hoành độ x1, x2 nên x1,x2 là 2 nghiệm phân biệt của phương trình (1).
Theo định lí Viete ta có: \(\left\{{}\begin{matrix}x_1+x_2=-\dfrac{b}{a}=-\dfrac{-2}{1}=2\\x_1x_2=\dfrac{c}{a}=\dfrac{m-3}{1}=m-3\end{matrix}\right.\)
Ta có: \(x_1^2\left(x_2+2\right)+x_2^2\left(x_1+2\right)\le20\)
\(\Rightarrow x_1x_2\left(x_1+x_2\right)+2\left(x_1^2+x_2^2\right)\le20\)
\(\Rightarrow x_1x_2\left(x_1+x_2\right)+2\left[\left(x_1+x_2\right)^2-2x_1x_2\right]\le20\)
\(\Rightarrow\left(m-3\right).2+2\left[2^2-2\left(m-3\right)\right]\le20\)
\(\Leftrightarrow m-3+4-2\left(m-3\right)-10\le0\)
\(\Leftrightarrow-m-3\le0\Leftrightarrow m\ge-3\)
Vậy \(-3\le m\le4\)
