ta có : \(y=\left(m^2-2m-3\right)x-3\Leftrightarrow y=\left(m^2-2m+1-4\right)x-3\)
\(\Leftrightarrow y=\left(\left(m-1\right)^2-4\right)x-3\)
a) hàm số đồng biến \(\Leftrightarrow a>0\Leftrightarrow\left(m-1\right)^2-4>0\Leftrightarrow\left(m-1\right)^2>4\)
\(\Leftrightarrow\) \(\left[{}\begin{matrix}m-1>2\\m-1< -2\end{matrix}\right.\) \(\Leftrightarrow\left\{{}\begin{matrix}m>3\\m< -1\end{matrix}\right.\)
vậy \(m>3\) hoặc \(m< -1\) thì hàm số đồng biến
b) hàm số nghịch biến \(\Leftrightarrow a< 0\Leftrightarrow\left(m-1\right)^2-4< 0\Leftrightarrow\left(m-1\right)^2< 4\)
\(\Leftrightarrow\) \(-2< m-1< 2\Leftrightarrow-1< m< 3\)
vậy \(-1< m< 3\) thì hàm số nghịch biến