Lời giải:
Vì $x,y$ là các số nguyên dương nên \(3x-y\in\mathbb{Z}; 5x+3y\in \mathbb{Z^+}\) và \(3x-y< 5x+3y\)
Kết hợp với \((3x-y)(5x+3y)=11\) ta suy ra \(\left\{\begin{matrix} 3x-y=1\\ 5x+3y=11\end{matrix}\right.\)
\(\Rightarrow \left\{\begin{matrix} 9x-3y=3\\ 5x+3y=11\end{matrix}\right.\Rightarrow (9x-3y)+(5x+3y)=14\)
\(\Leftrightarrow 14x=14\Rightarrow x=1\) (thỏa mãn)
Khi đó: \(y=3x-1=3.1-1=2\) (thỏa mãn)
Vậy \((x,y)=(1,2)\)