Lời giải:
Trước tiên để pt có 2 nghiệm phân biệt thì $\Delta>0$
$\Leftrightarrow a^2-4(b+1)>0(*)$
Áp dụng định lý Vi-et: \(\left\{\begin{matrix} x_1+x_2=-a\\ x_1x_2=b+1\end{matrix}\right.\)
Khi đó:
\(\left\{\begin{matrix} x_1-x_2=3\\ x_1^3-x_2^3=9\end{matrix}\right.\Leftrightarrow \left\{\begin{matrix} x_1-x_2=3\\ x_1^2+x_1x_2+x_2^2=3\end{matrix}\right.\)
\(\Rightarrow \left\{\begin{matrix} (x_1-x_2)^2=9\\ x_1^2+x_1x_2+x_2^2=3\end{matrix}\right.\)
\(\Leftrightarrow \left\{\begin{matrix} (x_1+x_2)^2-4x_1x_2=9\\ (x_1+x_2)^2-x_1x_2=3\end{matrix}\right.\)
\(\Leftrightarrow \left\{\begin{matrix} a^2-4(b+1)=9\\ a^2-(b+1)=3\end{matrix}\right.\)
\(\Rightarrow -3(b+1)=9-3=6\Rightarrow b=-3\)
Thay vào: $a^2=3+b+1=1\Rightarrow a=\pm 1$ (thỏa mãn $(*)$)
Vậy $(a,b)=(\pm 1;-3)$