Lời giải:
Đặt biểu thức là $A$
Vế đầu tiên:
Áp dụng BĐT Schur bậc 3 ta có:
\(abc\geq (a+b-c)(b+c-a)(c+a-b)\)
\(\Leftrightarrow abc\geq (a+b+c-2a)(a+b+c-2b)(a+b+c-2c)\)
\(\Leftrightarrow abc\geq (2-2a)(2-2b)(2-2c)\)
Thực hiên khai triển:
\(abc\geq 8-8(a+b+c)+8(ab+bc+ac)-8abc\)
\(\Leftrightarrow 9abc\geq 8(ab+bc+ac)-8\) \(\Rightarrow 2abc\geq \frac{16}{9}(ab+bc+ac)-\frac{16}{9}\)
Do đó:
\(A=a^2+b^2+c^2+2abc\geq a^2+b^2+c^2+\frac{16}{9}(ab+bc+ac)-\frac{16}{9}\)
\(\Leftrightarrow A\geq (a+b+c)^2-\frac{2}{9}(ab+bc+ac)-\frac{16}{9}\)
\(\Leftrightarrow A\geq 4-\frac{2}{9}(ab+bc+ac)-\frac{16}{9}=\frac{20}{9}-\frac{2}{9}(ab+bc+ac)\)
Mà theo hệ quả của BĐT Am-Gm:
\(ab+bc+ac\leq \frac{(a+b+c)^2}{3}=\frac{4}{3}\)
\(\Rightarrow A\geq \frac{20}{9}-\frac{2}{9}.\frac{4}{3}=\frac{52}{27}\) (đpcm)
Dấu bằng xảy ra khi \(a=b=c=\frac{2}{3}\)
Vế sau:
Ta có: \(A<2\Leftrightarrow 2A<4\)
\(\Leftrightarrow a^2+b^2+c^2+(a+b+c)^2-2(ab+bc+ac)+4abc<4\)
\(\Leftrightarrow a^2+b^2+c^2+4abc< 2(ab+bc+ac)\)
\(\Leftrightarrow (a^2+b^2+c^2)(a+b+c)+8abc<2(ab+bc+ac)(a+b+c)\)
\(\Leftrightarrow a^3+b^3+c^3+2abc< ab(a+b)+bc(b+c)+ac(a+c)\)
\(\Leftrightarrow a(ab+ac-a^2-bc)+b(ab+bc-b^2-ac)+c^2(b+c-a)>0\)
\(\Leftrightarrow a(a-c)(b-a)+b(b-c)(a-b)+c^2(a+b-c)>0\)
\(\Leftrightarrow (a-b)(b-a)(a+b-c)+c^2(a+b-c)>0\)
\(\Leftrightarrow (a+b-c)[(c^2-(a-b)^2]>0\)
BĐT trên luôn đúng do với $a,b,c$ là ba cạnh tam giác thì \(a+b>c\) và \(c>|a-b|\)
Do đó ta có đpcm.