Giả sử t=x+y+z. Vì x,y,z≥0 và P phải xác định nên x+z>0; suy ra t>0.Từ điều kiện đã cho suy ra (x+y)2+z2=1,5+t. Vì (x+y)2+z2≥t22 nên t22≤1,5+t. Suy ra t2−2t−3≤0; suy ra −1≤t≤3. Vì t>0 nên $0
Dễ thấy rằng 4x2+y2≥4xy. Suy ra
P≥x2+y2+z2+2xy4+3x+z+3y+1
≥1,5+x+y+z4+12x+y+z+1
≥t+1,54+12t+1.
Cho nên P≥t+1,54+12t+1.
Xét hàm số f(t)=t+1,54+12t+1,∀t∈(0;3].
Khi đó f′(t)=t2+2t−474(t+1)2<0,∀t∈(0;3). Do đó f nghịch biến trên (0;3].
Từ đó suy ra f(t)≥338,∀t∈(0;3].
Như vậy P≥338. Đồng thời, khi lấy x=12,y=1,z=32 thì điều kiện đề bài thỏa mãn và P=338.
Vậy giá trị nhỏ nhất của P là 338.