Từ điều kiện đề bài suy ra x−y=3−z và x2+y2=5−z2. Từ đó suy ra (x+y)2=2(x2+y2)−(x−y)2=−3z2+6z+1 (1).
Do đó −3z2+6z+1≥0, suy ra 3−2√33≤z≤3+2√33 (2). Điều này chứng tỏ z+2>0 (3).
Từ (1) và (3) suy ra P≤|x+y|−2z+2=√−3z2+6z+1−2z+2.
Giả sử 1z+2=t, vì (2) nên 9−2√323≤t≤9+2√323 (4).
Khi đó có z=1−2tt, đồng thời
√−3z2+6z+1−2z+2=√−23t2+18t−3−2t.
Đến đây bạn có thể tìm giá trị lớn nhất của f(t)=√−23t2+18t−3−2t với t thỏa mãn điều kiện (4).