Coursera の Andrew Ng 先生が講師をしている Machine Learning を受講しています。その3週目でロジスティック回帰のコスト関数の Gradient Descent が導出なしに紹介されていたため、導出をメモとして残しておきます。
ロジスティック回帰のコスト関数
ロジスティック回帰のコスト関数 は、以下の式で与えられます。
この を 各 の要素で偏微分することでコスト関数の Gradient Descent が求まります。
この (2)式 の導出を行います。
準備
(2)式 を導出するために、事前にいくつかの式を計算しておきます。
まず、 はシグモイド関数であり、次の式で表されます。
(3)式 より、
(3), (4)式 より、
(5)式 より、
また、
(7}式 は (3}式 の代入によって、 (8)式 は (4)式 の代入によって得られます。
コスト関数の偏微分
まず、 (1)式 のコスト関数の変形を行い、 をまとめます。
ここで、(10)式 の大カッコ内の第一項に (5)式 を代入することで、(11)式 を得られます。
最後に、総和内の偏微分を行い、(2)式 を導出します。
なお、 (12)式 は大カッコ内の第二項の偏微分に (9)式 を代入することで得られます。