パラメータの探索

ロジスティック回帰では、コンピュータが最適なパラメータ $β$ を学習するだけで十分です。そのためには、「最適なパラメータ」とは何かを定義する必要があります。モデルの仕組みを振り返ると、クラス 1 に属する確率 $p$ を予測します。

ここで、

当然ながら、良いパラメータを持つモデルとは、実際にクラス 1 であるインスタンスに対して高い（1に近い）$p$ を予測し、実際にクラス 0 であるインスタンスに対して低い（0に近い）$p$ を予測するモデルです。

モデルの良し悪しを測定するために、コスト関数 を使用します。線形回帰では、コスト関数として MSE（平均二乗誤差）を使用しましたが、今回は異なる関数を使用します。

ここで、$p$ はモデルによって予測されたクラス 1 に属する確率を表し、$y$ は実際のターゲット値を示します。

この関数は誤った予測を罰するだけでなく、モデルの予測に対する信頼度も考慮します。上記の画像で示されているように、$p$ の値が $y$（実際のターゲット）に近い場合、コスト関数は比較的小さくなり、モデルが正しいクラスを自信を持って選択したことを示します。逆に、予測が誤っている場合、コスト関数はモデルが誤ったクラスに自信を持つほど指数関数的に増加します。

シグモイド関数を用いた二値分類の文脈では、使用されるコスト関数は特にバイナリクロスエントロピー損失と呼ばれ、上記で示されました。また、多クラス分類問題で使用される一般的な形としてクロスエントロピー損失（またはカテゴリカルクロスエントロピー）があることにも注意が必要です。

単一の訓練インスタンスに対するカテゴリカルクロスエントロピー損失は、次のように計算されます：

ここで

• $C$ はクラス数；
• $y_i$ は実際のターゲット値（そのクラスが正解なら1、そうでなければ0）；
• $p_i$ はインスタンスがクラス $i$ に属する確率の予測値。

各訓練インスタンスごとに損失関数を計算し、その平均を取ります。この平均がコスト関数と呼ばれます。ロジスティック回帰は、コスト関数を最小化するパラメータ $\beta$ を求めます。