Em thử dồn biến nha!
Chọn t>0 thỏa mãn \(t^2+2tc+t^2c=ab+bc+ca+abc\)
\(\Leftrightarrow\left(c+1\right)\left(t^2-ab\right)=c\left(a+b-2t\right)\)
Mặt khác từ cách chọn t ta cũng có: \(t^2+2tc+t^2c=4\)
\(\Leftrightarrow c=\frac{4-t^2}{t^2+2t}.\text{Mà c > 0}\Rightarrow0< t< 2\)
Giả sử \(t^2< ab\Rightarrow2t>a+b\ge2\sqrt{ab}\Rightarrow t^2>ab\)(mâu thuẫn với giả sử)
Vậy giả sử tức là \(t^2\ge ab\). Đặt \(f\left(a;b;c\right)=\sqrt{ab}+\sqrt{bc}+\sqrt{ca}\)
Ta có: \(f\left(a;b;c\right)-f\left(t;t;c\right)=\sqrt{ab}-t+\sqrt{bc}+\sqrt{ca}-2\sqrt{tc}\)
\(=\frac{ab-t^2}{\sqrt{ab}+t}+\frac{c\left(a+b-2t\right)+2c\left(\sqrt{ab}-t\right)}{\sqrt{bc}+\sqrt{ca}+2\sqrt{tc}}\)
\(=\frac{ab-t^2}{\sqrt{ab}+t}+\frac{\frac{2c\left(ab-t^2\right)}{\sqrt{ab}+t}-\left(c+1\right)\left(ab-t^2\right)}{\sqrt{bc}+\sqrt{ca}+2\sqrt{tc}}\)
\(=\left(ab-t^2\right)\left[\frac{1}{\sqrt{ab}+t}+\frac{\frac{2c}{\sqrt{ab}+t}-\left(c+1\right)}{\sqrt{bc}+\sqrt{ca}+2\sqrt{tc}}\right]\)
Đánh giá nốt cái ngoặc to bên trên > 0 (có lẽ là quy đồng, nếu làm ra thì mai em sẽ đăng, giờ buồn ngủ:v)
Khi đó ta có \(f\left(a;b;c\right)\le f\left(t;t;c\right)=f\left(t;t;\frac{4-t^2}{t^2+2t}\right)\)
\(=t+2\sqrt{\frac{t\left(4-t^2\right)}{t^2+2t}}\). Khảo sát hàm số (bước này làm chỉ mang tính chất "thủ tục" thôi ak) ta sẽ thấy \(f\left(t;t;\frac{4-t^2}{t^2+2t}\right)\) đạt max tại t= 1.
Khi đó \(f\left(t;t;\frac{4-t^2}{t^2+2t}\right)\le3\Rightarrow f\left(a;b;c\right)\le3\)
=> đpcm.