Lời giải:
Xét \(\frac{1}{P}=\frac{1}{a}+\frac{1}{b}+\frac{2}{ab}\)
Áp dụng bất đẳng thức AM-GM:
\(4=a^2+b^2\geq 2ab\Rightarrow ab\leq 2\Rightarrow \frac{2}{ab}\geq 1\)
Theo Cauchy-Schwarz: \(\frac{1}{a}+\frac{1}{b}\geq \frac{4}{a+b}\geq \frac{4}{\sqrt{2(a^2+b^2)}}=\sqrt{2}\)
Do đó \(\frac{1}{P}\geq 1+\sqrt{2}\Leftrightarrow P\leq \sqrt{2}-1\)
Vậy \(P_{\max}=\sqrt{2}-1\Leftrightarrow (a,b)=(\sqrt{2},\sqrt{2})\)