\(\left(x+1\right)\left(x-3\right)< 2\sqrt{x^2-2x-3}+3\)
\(\Leftrightarrow x\left(x+1\right)-3\left(x+1\right)< 2\sqrt{x^2-2x-3}+3\)
\(\Leftrightarrow x^2+x-3x-3< 2\sqrt{x^2-2x-3}+3\)
\(\Leftrightarrow x^2-2x-3< 2\sqrt{x^2-2x-3}+3\) (1)
Đặt \(t=\sqrt{x^2-2x-3}\) ( điều kiện \(t\ge0\) )
\(\Rightarrow bpt\left(1\right)\Leftrightarrow t^2< 2t+3\)
\(\Leftrightarrow t^2-2t-3< 0\)
\(\Leftrightarrow\left[{}\begin{matrix}t< -1\left(loại\right)\\t>3\left(nhận\right)\end{matrix}\right.\)
\(\Leftrightarrow\sqrt{x^2-2x-3}>3\)
\(\Leftrightarrow x^2-2x-3>9\)
\(\Leftrightarrow x^2-2x-12>0\)
\(\Leftrightarrow x\in\left(-\infty;1-\sqrt{13}\right)\cup\left(1+\sqrt{13};+\infty\right)\)
Vậy nghiệm của bất phương trình \(x\in\left(-\infty;1-\sqrt{13}\right)\cup\left(1+\sqrt{13};+\infty\right)\)