Đặt $a = \cos t; b = \sin t$$P = \sqrt{3}\cos t\sin t +\sin^2 t = \frac{\sqrt 3}{2} \sin 2t -\frac{1}{2}\cos 2t +\frac{1}{2} = \sin \frac{\pi}{3}\sin 2t-\cos \frac{\pi}{3}\cos 2t +\frac{1}{2} = -\cos (2t+\pi/3) +\frac{1}{2}$
từ đó ta thấy giá trị lớn nhất $P = 3/2$ khi $\cos (2t+\pi/3) = -1$ hay $2t +\pi/3 = \pi +k2\pi \to t = \pi/3+k\pi$ hay $(a,b) = (\pm 1/2,\pm \sqrt 3/2)$
;
còn giá trị nhỏ nhất $P = -1/2$ khi $\cos (2t+\pi/3) = 1$ hay $2t+\pi/3 = k2\pi \to t = -\pi/6 + k\pi$ hay $(a,b) = (\sqrt 3/2,-1/2)$ hay $ (a,b) = (-\sqrt 3/2,1/2)$