y'=mx² -2(m+1)x +(m-5) (*)
Đặt điều kiện để hs có 2 cực trị ( tức y=(*)=0 có 2 nghiệm pb) <=> m≠0 và ∆' >0
∆' >0
<=> (m+1)² -m(m-5) >0
<=> m² + 2m + 1 - m² +5m>0
<=>m > -1/7
=> ĐK : m> -1/7 và m≠0
Sau đó áp dụng tổng tích thế vào bpt để giải:
x1.x2 = c/a =(m-5)/m
x1+ x2=-b/a = 2(m+1)/m
thế vào bpt:
x1.x2 +3(x1+ x2) -4 <0
<=> (m-5)/m +6(m+1)/m -4 <0
<=> (3m+1)/m>0
do m ≠0 (ĐK) nên ta suy ra:
(3m+1)m>0
<=> m>0 hay m< -1/3
kết hợp điều kiện => m>0