Lời giải:
a) Khi $m=-4$, pt trở thành:
\(x^2+6x+18=0\)
\(\Leftrightarrow (x^2+6x+9)+9=0\Leftrightarrow (x+3)^2+9=0\) (vô lý)
Do đó pt vô nghiệm.
b) Trước tiên để pt có hai nghiệm $x_1,x_2$ thì:
\(\Delta'=(m+1)^2-(m^2+2)>0\)
\(\Leftrightarrow 2m-1>0\Leftrightarrow m> \frac{1}{2}\)
Áp dụng định lý Viete ta có : \(\left\{\begin{matrix} x_1+x_2=2(m+1)\\ x_1x_2=m^2+2\end{matrix}\right.\)
Khi đó: \(x_1^2+x_2^2=10\)
\(\Leftrightarrow x_1^2+x_2^2+2x_1x_2-2x_1x_2=10\)
\(\Leftrightarrow (x_1+x_2)^2-2x_1x_2=10\)
\(\Leftrightarrow 4(m+1)^2-2(m^2+2)=10\)
\(\Leftrightarrow 2m^2+8m-10=0\)
\(\Leftrightarrow m^2+4m-5=0\Leftrightarrow (m-1)(m+5)=0\)
Vì $m> \frac{1}{2}$ do đó suy ra $m=1$
Vậy \(m=1\)