Lời giải:
Từ \(x+y-z=-1\Rightarrow z-x-y=1\)
Ta có các biến đổi sau:
\(x+yz=x(z-x-y)+yz=x(z-x)+y(z-x)=(x+y)(z-x)\)
\(=(x+y)(y+1)\)
\(y+zx=y(z-x-y)+zx=y(z-y)+x(z-y)=(y+x)(z-y)\)
\(=(y+x)(x+1)\)
\(z+xy=z(z-x-y)+xy=(z-x)(z-y)=(x+1)(y+1)\)
Khi đó:\(P=\frac{x^3y^3}{(x+y)^2(x+1)^3(y+1)^3}(*)\)
Áp dụng BĐT Cauchy:
\((x+y)^2\geq 4xy\)
\(x+1=\frac{x}{2}+\frac{x}{2}+1\geq 3\sqrt[3]{\frac{x^2}{4}}\Rightarrow (x+1)^3\geq \frac{27x^2}{4}\)
\(y+1\geq 3\sqrt[3]{\frac{y^2}{4}}\Rightarrow (y+1)^3\geq \frac{27y^2}{4}\) (tương tự ở trên)
\(\Rightarrow (x+y)^2(x+1)^3(y+1)^3\geq \frac{729}{4}x^3y^3(**)\)
Từ \((*); (**)\Rightarrow P\leq \frac{x^3y^3}{\frac{729}{4}x^3y^3}=\frac{4}{279}\Rightarrow P_{\max}=\frac{4}{729}\)
Đẳng thức xảy ra khi \(x=y=2; z=5\)