Lời giải:
Để 2 ĐTHS cắt nhau tại 2 điểm phân biệt $A,B$ thì PT hoành độ giao điểm: $x^2+2mx-3m=-2x+3\Leftrightarrow x^2+2x(m+1)-(3m+3)=0$ có 2 nghiệm phân biệt $x_A,x_B$
Điều này xảy ra khi:
$\Delta'=(m+1)^2+(3m+3)>0$
$\Leftrightarrow (m+1)(m+4)>0\Leftrightarrow m>-1$ hoặc $m< -4$
Áp dụng định lý Vi-et: \(\left\{\begin{matrix} x_A+x_B=-2(m+1)\\ x_Ax_B=-3(m+1)\end{matrix}\right.\)
Khi đó:
\(AB=4\sqrt{5}\)
\(\Leftrightarrow AB^2=80\)
\(\Leftrightarrow (x_A-x_B)^2+(y_A-y_B)^2=80\)
\(\Leftrightarrow (x_A-x_B)^2+[(-2x_A+3)-(-2x_B+3)]^2=80\)
\(\Leftrightarrow 5(x_A-x_B)^2=80\)
\(\Leftrightarrow (x_A-x_B)^2=16\Leftrightarrow (x_A+x_B)^2-4x_Ax_B=16\)
\(\Leftrightarrow 4(m+1)^2+12(m+1)=16\)
\\(\Leftrightarrow (m+1)^2+3(m+1)-4=0\)
\(\Leftrightarrow (m+1-1)(m+1+4)=0\)
$\Leftrightarrow m=0$ hoặc $m=-5$ (đều thỏa mãn)