Lời giải:
\((\sqrt{x}+\sqrt{y}+\sqrt{z})^2=5^2=25\)
\(\Rightarrow x+y+z+2(\sqrt{xy}+\sqrt{yz}+\sqrt{xz})=25\Rightarrow \sqrt{xy}+\sqrt{yz}+\sqrt{xz}=\frac{25-9}{2}=8\)
\(\Rightarrow xy+yz+xz+2\sqrt{xyz}(\sqrt{x}+\sqrt{y}+\sqrt{z})=64\)
\(\Rightarrow xy+yz+xz+10\sqrt{xyz}=64\)
Thay vào PT(3):
\(\frac{1}{x}+\frac{1}{y}+\frac{1}{z}=\frac{3}{2}\Rightarrow \frac{xy+yz+xz}{xy}=\frac{3}{2}\)
\(\Rightarrow \frac{64-10\sqrt{xyz}}{xyz}=\frac{3}{2}\)
Đặt \(\sqrt{xyz}=t\Rightarrow \frac{64-10t}{t^2}=\frac{3}{2}\Rightarrow 3t^2+20t-128=0\)
\(\Rightarrow t=4\) (chọn) hoặc \(t=-\frac{32}{3}< 0\) (loại)
\(\Rightarrow \sqrt{xy}=\frac{4}{\sqrt{z}}\)
\(\Rightarrow 8=\sqrt{xy}+\sqrt{yz}+\sqrt{xz}=\frac{4}{\sqrt{z}}+\sqrt{z}(\sqrt{x}+\sqrt{y})=\frac{4}{\sqrt{z}}+\sqrt{z}(5-\sqrt{z})\)
Đặt \(\sqrt{z}=k\Rightarrow 8k=4+5k^2-k^3\)
\(\Rightarrow k^3-5k^2+8k-4=0\)
\(\Rightarrow k^2(k-1)-4(k^2-2k+1)=0\)
\(\Rightarrow (k-1)(k-2)^2=0\Rightarrow k=1; k=2\)
Nếu $k=1$ suy ra $z=1$. Thay vào giải hpt 2 ẩn ta thu được $x=y=4$
Nếu $k=2$ thì $z=4$. Thay vào giải hpt 2 ẩn ta thu được $(x,y)=(4,1)$ và hoán vị
Vậy $(x,y,z)=(4,4,1)$ và hoán vị của nó.