Giải phương trình (1):
$y^2(x+1)-2-3x-x^2=0$
$\Leftrightarrow$ $y^2(x+1)-(x+1)(x+2)=0$
$\Leftrightarrow$ $ (x+1)(y^2-x-2)=0$
Nên, có 2 trường hợp: $x+1=0$ hoặc $y^2=x+2$
Th1: $x+1=0$
Giải phương trình (2): $y-1 - 4\sqrt{y-1}=0$
$\Leftrightarrow$ $\sqrt{y-1}[\sqrt{y-1} -4]=0$
Xét $\sqrt{y-1}=0$
Nên, $y-1=0$
$\Leftrightarrow$ $y=0$
Xét $\sqrt{y-1}=4$
Nên, $y-1=16$
$\Leftrightarrow$ $y=17$
Th2: $y^2=x+2$
Giải phương trình (2): $y^2-2+y-4\sqrt{y-1}=0$
$\Leftrightarrow$ $(y-1)(y+2) - 4\sqrt{y-1}=0$
$\Leftrightarrow$ $\sqrt{y-1}[(y+2)\sqrt{y-1}-4]=0$
Xét: $\sqrt{y-1}=0$ $\Leftrightarrow y=1$
Xét: $\sqrt{y-1}(y+2)=4$
Đặt $\sqrt{y-1}=a$, ta có:
$y+2=a^2+3$
Nên, ta có: $a(a^2+3)=4$
$\Leftrightarrow a^3 + 3a -4 = 0 $
$\Leftrightarrow (a-1)(a^2-a+4)=0$
Xét $\triangle x$ của phương trình $a^2-a+4 =1^2-4.4=-15 $
Nên phương trình này vô nghiệm
Nên, $a = \sqrt{y-1} =-1$
$\Rightarrow y-1 =1 $
$\Leftrightarrow y=2$ và $x=2$
Vậy $(x;y)=(-1;0) ; (-1;17); (2;2)$