【解説】
\( x+y+z \) と \( x^2+y^2+z^2 \) の関係をどのように示すかがポイントです。コーシー・シュワルツの不等式として、よく出てくる \( 3(x^2+y^2+z^2) \ge (x+y+z)^2 \) ですね。こちらのコーシー・シュワルツの不等式を使った問題も参考にしてください。
【解答】
\( \displaystyle \frac{x+y+z}{3} = t \ (0 \le t \le 1)\) とおくと、
\begin{equation}
\begin{array}{l}
x(1-x)+y(1-y)+z(1-z) \\
\hspace{15pt} = (x+y+z)-(x^2+y^2+z^2) \\
\hspace{15pt} = 3t-(x^2+y^2+z^2) \cdots ①
\end{array}
\end{equation}
ここで、コーシー・シュワルツの不等式より
\begin{equation}
(x^2+y^2+z^2)(1^2+1^2+1^2) \ge (1 \cdot x+1 \cdot y+1 \cdot z)^2 \\
3 (x^2+y^2+z^2) \ge (x+y+z)^2 \\
∴ x^2+y^2+z^2 \ge \frac{1}{3} (x+y+z)^2 \\
x^2+y^2+z^2 \ge 3t^2 \cdots ② \\
等号成立は \frac{x}{1}=\frac{y}{1}=\frac{z}{1} \\
すなわち x=y=z=t のとき
\end{equation}
①②より
\begin{equation}
x(1-x)+y(1-y)+z(1-z) \le 3t -3t^2 \\
∴(与式)= t+\sqrt{3t-3t^2}
\end{equation}
となる。ここで、\( k = t+\sqrt{3t-3t^2} \) とおくと、
\begin{equation}
k = t+\sqrt{3t-3t^2} \\
\sqrt{3t-3t^2} = k-t \\
(ただしk \ge t) \\
両辺を2乗すると \\
3t-3t^2 = k^2 -2kt+t^2 \\
4t^2-(2k+3)t+k^2 =0 \cdots ③
\end{equation}
③を \( t \) の2次方程式と考える。\( t \) は実数解をもつので、判別式を \( D \) とすると、
\begin{eqnarray}
D &=& \{ -(2k+3) \}^2 -4 \cdot 4 \cdot k^2 \\
&=& 4k^2+12k+9-16k^2 \\
&=& -12k^2+12k+9 \ge 0
\end{eqnarray}
\begin{eqnarray}
∴ -3(4k^2-4k+3) \ge 0 \\
(2k-3)(2k+1) \le 0 \\
∴-\frac{1}{2} \le k \le \frac{3}{2}
\end{eqnarray}
kの最大値は \( \displaystyle \frac{3}{2} \) となり、\( \displaystyle k=\frac{3}{2} \) のとき③は、
\begin{equation}
4t^2-6t+\frac{9}{4} = 0 \\
\left( 2t-\frac{3}{2} \right)^2=0 \\
∴t=\frac{3}{4}
\end{equation}
これらは \( 0 \le t \le 1、k \ge t \) を満たす。
ここで \( k \) が最大となるのは、②の等号成立するときだから、\( \displaystyle x=y=z=\frac{3}{4} \) となる。よって、
$$ x=y=z=\frac{3}{4} のとき、最大値 \frac{3}{2} となる \cdots (答) $$