Giải

Nếu $y = 0 \Rightarrow P = 2$

Với $y \neq 0$. Đặt $t = \dfrac{x}{y}$. Ta có:

$P = \dfrac{2x^2 + 12xy}{1 + 2xy + y^2} = \dfrac{2x^2 + 12xy}{x^2 + 2y^2 + 2xy} = \dfrac{2t^2 + 12t}{t^2 + 2t + 2}$

Xét hàm số: $f(t) = \dfrac{2t^2 + 12t}{t^2 + 2t + 2}$

Có $f’(t) = \dfrac{-8t^2 + 8t + 24}{(t^2 + 2t + 2)^2}$; $f’(t) = 0 \Leftrightarrow t = \dfrac{1 \pm \sqrt{13}}{2}$

Lập bảng biến thiên, ta tìm được:
$P_{max} = 2\sqrt{13} - 4$ và $P_{min} = -2\sqrt{13} - 4$

Bạn tự tìm giá trị của x, y tương ứng nhé.