Lời giải:
Ta có:
\(x^2+y^2=\sqrt{9-4\sqrt{5}}+\sqrt{14-6\sqrt{5}}=\sqrt{2^2-2.2\sqrt{5}+5}+\sqrt{3^2-2.3\sqrt{5}+5}\)
\(=\sqrt{(2-\sqrt{5})^2}+\sqrt{(3-\sqrt{5})^2}=|2-\sqrt{5}|+|3-\sqrt{5}|\)
\(=\sqrt{5}-2+3-\sqrt{5}=1\)
Áp dụng BĐT Cô-si cho 2 số không âm:
\(x^2+y^2\geq 2\sqrt{x^2y^2}=2|xy|\geq 2xy\)
\(\Leftrightarrow 1\geq 2P\Rightarrow P\leq \frac{1}{2}\)
Vậy $P_{\max}=\frac{1}{2}$. Giá trị này đạt được tại $x=y=\pm \sqrt{\frac{1}{2}}$