Lời giải:
Đặt \(A=a^2+b^2+c^2+abc\)
Dựa theo điều kiện \(a+b+c=0\) ta suy ra:
\(A=a^2+b^2+(-a-b)^2+ab(-a-b)\)
\(=a^2+b^2+(a+b)^2-ab(a+b)=2(a+b)^2-2ab-ab(a+b)\)
\(A=2(a+b)^2-ab(a+b+2)(1)\)
Vì \(a,b\leq 2\Rightarrow (a-2)(b-2)\geq 0\)
\(\Leftrightarrow ab+4\geq 2(a+b)\Leftrightarrow ab\geq 2(a+b-2)(*)\)
Do \(a+b+2=2-c\geq 0\) nên nhân cả hai vế của $(*)$ với \(a+b+2\) thì BĐT không đổi chiều. Tức là:
\(ab(a+b+2)\geq 2(a+b-2)(a+b+2)=2[(a+b)^2-4](2)\)
Từ \((1); (2)\Rightarrow A\leq 2(a+b)^2-2[(a+b)^2-4]=8\) (đpcm)
Dấu bằng xảy ra khi ít nhất một trong 3 số $a,b,c$ có một số bằng $2$