Không mất tính tổng quát giả sử a=max{a;b;c} ta có:
a2+1b2+1=a2+1−b2(a2+1)b2+1≤a2+1−b2(a2+1)2
Tương tự rồi cộng lại ta có:
VT≤a2+b2+c2+3−a2(b2+1)+b2(c2+1)+c2(a2+1)2≤a2+b2+c2+2(ab+bc+ac)2+3
Vậy max=72 khi (a,b,c) là một hoán vị của (1,0,0)
Bài toán tổng quát:
Với mọi số thực không âm có tổng =1 và với mọi k≥1 ta đều có:
ak+1bk+1+bk+1ck+1+ck+1ak+1≤72