Đặt \(a=\sqrt{x},b=\sqrt{y},c=\sqrt{z}\) thì \(a,b,c\in\left[0;2\right]\) và
\(P=ab\left(a^2-b^2\right)+bc\left(b^2-c^2\right)+ca\left(c^2-a^2\right)\)
Không mất tính tổng quát, giả sử \(a=max\left\{a,b,c\right\}\)
Ta có \(P=ab\left(a^2-b^2\right)+c\left(b^3-a^3\right)+c^3\left(a-b\right)\\ =ab\left(a^2-b^2\right)+c\left(b-a\right)\left(b^2+ba+a^2-c^2\right)\le ab\left(a^2-b^2\right)\le2b\left(4-b^2\right)\)
\(\Rightarrow P^2\le4b^2\left(4-b^2\right)^2\le2\left[\frac{2b^2+2\left(4-b^2\right)}{3}\right]^3=\frac{1024}{27}\Rightarrow P\le\frac{32\sqrt{3}}{9}\)
Vậy \(P_{max}=\frac{32\sqrt{3}}{9}\Leftrightarrow a=2,b=\frac{2\sqrt{3}}{3},c=0\) hay \(x=4,y=\frac{4}{3},c=0\)