Ta có: $y'=3x^2-3mx$
Hàm số có 2 cực trị khi và chỉ khi phương trình $y'=0$ có 2 nghiệm phân biệt $\Leftrightarrow m>0 (*)$
Lấy $y$ chia cho $y'$ ta được: $y=y'.\dfrac{1}{3}x+\dfrac{2}{3}(1-mx)$
Vậy phương trình đường thẳng $(d)$ đi qua 2 điểm cực trị là: $y=\dfrac{2}{3}(1-mx) \Leftrightarrow 2mx+3y-2=0$
Ta có: $S(IAB)=\dfrac{1}{2}.IA.IB.\sin\angle AIB\le\dfrac{1}{2}.IA.IB=\dfrac{1}{2}$
$S(IAB)$ lớn nhất $\Leftrightarrow \angle AIB=90^o \Leftrightarrow d(I/(d))=\dfrac{1}{\sqrt2}$
Khi đó ta có:
$\dfrac{|2m.1+3.1-2|}{\sqrt{4m^2+9}}=\dfrac{1}{\sqrt2}$
$\Leftrightarrow \dfrac{|2m+1|}{\sqrt{4m^2+9}}=\dfrac{1}{\sqrt2}$
$\Leftrightarrow \dfrac{(2m+1)^2}{4m^2+9}=\dfrac{1}{2}$
$\Leftrightarrow 4m^2+8m-7=0$
$\Leftrightarrow m=\dfrac{-2\pm\sqrt{11}}{2}$
Kết hợp với $(*)$ ta được: $m=\dfrac{-2+\sqrt{11}}{2}$