ニューラルネットワークの基本

小さなネットワークを実際に訓練して、しくみを見る

1 / 16

ニューラルネットワークは、例から規則を学ぶ。

画像の認識、翻訳、文章を作るAIも、この仕組みが土台です。

この資料では小さなネットワークを実際に訓練し、賢くなっていく様子を見ます。

2 / 16

1つのニューロンは、重み付きの足し算。

入力に重みを掛けて足し、バイアスを加えます。重みは、その入力をどれだけ重く見るかを表す数です。

最後に活性化関数を通します。ReLUは、マイナスなら0、プラスならそのまま出します。

3 / 16

ニューロンを層に並べて、つなぐ。

前の層の出力が、次の層の入力になります。線の1本1本が重みです。

この例は重み54個とバイアス13個、合わせて67個の数を訓練で調整します。文章を作るAIのGPT-3では、1750億個です。

4 / 16

活性化関数があるから、境界を曲げられる。

例題は、点の位置（横・縦）から内側か外側かを見分けること。活性化関数がないと、何層重ねても計算は直線的なままです。

どちらも同じ形のネットワークを、同じデータで300エポック訓練した結果です。

5 / 16

予測と正解のずれを、損失で測る。

出力は「内側らしさ」を0〜1で表します。正解が内側なら、1に近いほど良い予測です。

損失は、ずれを1つの数にしたものです。外れるほど大きく、訓練では全データの損失の平均を小さくしていきます。

6 / 16

勾配をたどって、損失の谷を下る。

勾配は、重みを少し動かしたときに損失がどちらへどれだけ変わるかを表す傾きです。

傾きと逆向きへ、学習率×勾配だけ重みを動かします。これを繰り返すのが勾配降下法です。学習率が大きすぎると、底を行き過ぎます。

7 / 16

訓練の1回は、4つの手順。

逆伝播（誤差逆伝播法）は、出力側から入力側へ順にさかのぼり、すべての重みの勾配を求める方法です。

図は、内側の点1つで1回だけ更新した例です。予測は0.60から0.75へ正解に近づき、損失は0.51から0.28へ下がりました。

8 / 16

訓練の様子：境界が少しずつ形になる。

最初の重みはランダムなので、境界はでたらめです（正解率53%）。更新を重ねると損失が0.66から0.03へ下がり、300エポックで正解率は100%になりました。

グラフとアニメーションは、この資料のために実際に訓練した記録から描いています。

9 / 16

バッチ・エポック・学習率

この例では300エポック、合わせて3000回の更新で訓練しました。

どれも訓練の前に人が決める値です。データやネットワークに合わせて調整します。

10 / 16

過学習：訓練データにだけ合いすぎる。

訓練に使っていないデータ（検証データ）でも損失を測ります。訓練データの損失だけが下がり続けたら、過学習のサインです。

検証データの損失が上がり始めたら訓練を止める（早期終了）、データを増やす、などで防ぎます。

11 / 16

訓練は、重みを少しずつ直す繰り返し。

1. 1

   順伝播

   入力から予測を計算する。

2. 2

   損失

   予測と正解のずれを1つの数で測る。

3. 3

   逆伝播

   出力側からさかのぼり、各重みの勾配を求める。

4. 4

   更新

   学習率×勾配だけ、重みを動かす。

この4つを、バッチごと・エポックごとに繰り返します。

訓練が終わると重みは固定されます。新しい入力には、順伝播だけで答えを出します。

12 / 16

用語集｜ネットワークの部品

13 / 16

用語集｜訓練のしくみ

14 / 16

用語集｜訓練の進め方

15 / 16

自分で動かして、確かめる。

16 / 16