【解答】
$$ m^2x^2-mx+m+2 =0 \cdots ① $$
は2次方程式だから、\( m \ne 0 \) である。①の判別式を \( D \) とすると、
\begin{equation}
D = (-m)^2-4m^2(m+2) = -m^2(4m+7) > 0
\end{equation}
\( m^2 > 0 \) だから
\begin{equation}
4m+7 < 0 \\
∴m < -\frac{7}{4} \cdots (答)
\end{equation}
①について、解と係数の関係より
\begin{equation}
\left\{
\begin{array}{l}
\displaystyle \alpha + \beta = -\frac{-m}{m^2} = \frac{1}{m} \\
\displaystyle \alpha \beta = \frac{m+2}{m^2}
\end{array}
\right.
\end{equation}
だから
\begin{eqnarray}
(\alpha-\beta)^2 &=& (\alpha+\beta)^2-4\alpha\beta \\
&=& \left( \frac{1}{m} \right)^2-4\cdot\frac{m+2}{m^2} \\
&=& \frac{1}{m^2} – \frac{4m+8}{m^2} \\
&=& -\frac{4m+7}{m^2} \\
&=& f(m)
\end{eqnarray}
とおくと
\begin{eqnarray}
f^{\prime}(m) &=& – \frac{4m^2-(4m+7)\cdot2m}{m^4} \\
&=& – \frac{4m^2-8m^2-14m}{m^4} \\
&=& \frac{2(2m+7)}{m^3} \\
\end{eqnarray}
ここで、\( f^{\prime}(m)=0 \) とおくと \( \displaystyle m=-\frac{7}{2} \)となる。増減表は、
\begin{equation}
\begin{array}{c|cccc}
m & \cdots & -\frac{7}{2} & \cdots & -\frac{7}{4} \\
\hline
f^{\prime}(m) & + & 0 & – & \\
\hline
f(m) & \nearrow & 極大 & \searrow & \\
\end{array}
\end{equation}
となる。\( \displaystyle m=-\frac{7}{2} \) のとき \( f(m) \) は極大かつ最大となるので、\( (\alpha-\beta)^2 \) の最大値は
\begin{eqnarray}
f \left( -\frac{7}{2} \right) &=& – \frac{4 \left( -\frac{7}{2} \right)+7}{(-\frac{7}{2})^2} = – \frac{-14+7}{\frac{49}{4}} \\
&=& \frac{7\cdot4}{49} = \frac{4}{7} \cdots (答)
\end{eqnarray}