Đặt $\sqrt x = a \ge 0;\ \sqrt y = b \ge 0$ hệ đưa về
$\begin{cases} a^3 -8b =a+b^3 \\ a^2 -b^2 =5 \end{cases} \Leftrightarrow \begin{cases} a^3 -b^3 = a+8b \\ a^2 -b^2 = 5 \end{cases}$
Nhân chéo 2 pt được $5(a^3-b^3)=(a+8b)(a^2-b^2)$
$\Leftrightarrow (2 a-3 b) (a-b) (2 a+b) = 0$ dễ rồi tự làm