Lời giải:
Ta có:
\(S=xyz(x+y)(y+z)(z+x)=(xz+yz)(xy+xz)(yz+xy)\)
Áp dụng BĐT AM-GM có:
\((xz+yz)(xy+xz)(yz+xy)\leq \left(\frac{xz+yz+xy+xz+yz+xy}{3}\right)^3\)
\(=\left(\frac{2(xy+yz+xz)}{3}\right)^3\)
Theo hệ quả quen thuộc của BĐT AM-GM:
\((x+y+z)^2\geq 3(xy+yz+xz)\Rightarrow xy+yz+xz\leq \frac{1}{3}\)
Do đó:
\(S\leq \left[\frac{2(xy+yz+xz)}{3}\right]^3\leq \left(\frac{2.\frac{1}{3}}{3}\right)^3=\frac{8}{729}\)
Vậy \(S_{\max}=\frac{8}{729}\Leftrightarrow x=y=z=\frac{1}{3}\)