Ta có: Xét $y=0\Rightarrow x=1\Rightarrow P=2.$
Xét $y\neq 0,$ ta có:
$P=\frac{2x^2+12xy}{1+2xy+2y^2}=\frac{2x^2+12xy}{(x^2+y^2)+2xy+2y^2}=\frac{2x^2+12xy}{x^2+2xy+3y^2}$
$=\frac{2t^2+12t}{t^2+2t+3}=f(t)$ với $t=\frac{x}{y},t\in R.$
Tìm GTLN, GTNN của $f(t)$, ta được:
$\max P= 3$ tại $x=3y=\pm \frac{3\sqrt{10}}{10}$ , $\min P=-6$ tại $-x=\frac{3}{2}y=\pm \frac{3}{\sqrt{13}}$