Không mất tính tổng quát, giả sử a\leq b\leq c.
Nếu b=0 thì
\sqrt{1-ab}+\sqrt{1-bc}+\sqrt{1-ca}=2+\sqrt{1-ca}.
Ta có ca\leq \frac{a^2+c^2}{2}=\frac{1}{2} suy ra:
2+\sqrt{1-ca}\geq 2+\frac{\sqrt{2}}{2}>\sqrt{6}.
Vậy bài toán đúng với trường hợp b=0.
Xét trường hợp b>0. Ta sẽ chứng minh bài toán bằng phản
chứng.
Giả sử \sqrt{1-ab}+\sqrt{1-bc}+\sqrt{1-ca}<\sqrt{6} ta
có:
\sqrt{1-ac}+\sqrt{1-bc}<\sqrt{6}-\sqrt{1-ab}.
Ta sẽ chứng minh tồn tại số t_0 sao cho:
\sqrt{1-at_0}+\sqrt{1-bt_0}=\sqrt{6}-\sqrt{1-ab}.
Thật vậy, xét hàm số f(t)=\sqrt{1-at}+\sqrt{1-bt} trên
D=\left[ 0,\frac{1}{b}\right]. Ta có:
f’(t)=-\frac{1}{2}\left(
\frac{a}{\sqrt{1-at}}+\frac{b}{\sqrt{1-bt}}\right)<0,\forall t \in D.
Do đó hàm số f(t) nghịch biến trên D.
Với giả thiết a\leq b\leq c ta có c^2\geq \frac{1}{3}
hay a^2+b^2\leq \frac{2}{3}. Từ đó suy ra: ab\leq \frac{1}{3} \Rightarrow
\sqrt{6}-\sqrt{1-ab}<2.
Như vậy f(0)=2>\sqrt{6}-\sqrt{1-ab}.
Để ý rằng bc\leq c^2\leq 1 nên c\in D. Mà f(c)<\sqrt{6}-\sqrt{1-ab}
nên tồn tại t_0 \in (0,c) sao cho f(t_0)=\sqrt{6}-\sqrt{1-ab}, nghĩa là:
\sqrt{1-ab}+\sqrt{1-at_0}+\sqrt{1-bt_0}=\sqrt{6}.
Ta suy ra 6=(\sqrt{1-ab}+\sqrt{1-at_0}+\sqrt{1-bt_0})^2\leq
3(3-ab-at_0-bt_0), dẫn đến ab+at_0+bt_0\geq 1, suy ra a^2+b^2+t_{0}^{2}\geq
1.
Vì t_0<c nên a^2+b^2+c^2>1 (mâu thuẫn với điều kiện
ban đầu).
Vậy giả thiết phản chứng là sai, bài toán được chứng minh.