エポック
学習回数
モーメンタム
（意味不明）
ブレに起因する弊害を減らす仕組み。
最小値の地点を効率よく求められるとか。
ミニバッチ
一度に複数のデータを入力する手法。
1度に入力しまとまったデータを学習する。
結果として大量のデータを扱う機械学習としては動作速度が少し早くなる。
損失関数
予測値の誤差を損失と位置づけ、その損失を求める関数を指す。
もちろん損失の値が小さいほど予測精度が高いことを意味します。
- 分類：交差エントロピー
- 回帰：平均に上戸鎖
学習率
（意味不明）
最適化
損失関数で求められた損失をなるべく小さくなるように重みを更新する行為。
つまり予測結果を出した後に逆方向にさかのぼって最適な重みを求める。
これを逆伝播という。（逆に予測は順伝播。）
この手法の一つとして、「確率的勾配降下法（SGD）」というのがあるそう。
オプティマイザ
（意味不明）
SGDなどを用いて最適化を行うプログラムの部品のこと、らしい。
活性化関数
（意味不明）
シグモイド関数
（意味不明）
ディープラーニング
入力層と出力層の間に位置する隠れ層（中間層）が、複数の層をなしているものを指す。
画像や音声データなどリッチなデータ種のモデルは多分ディープラーニングになる。
画像だと入力層は画像の縦横のピクセル数になる。
ニューラルネットワーク
定義はよくわからん。
パーセプトロンをより脳みその構造に近づけた構造のことっぽい。
ようはディープラーニングのネットワーク構造のことっぽい。
ファインチューニング
（意味不明）
RAG（検索拡張生成）
（意味不明）
Continued Pre-Trainning（継続事前学習）
（意味不明）
CNN(Convolutional Neural Network：畳み込みニューラルネットワーク)
（意味不明）
カーネル。
プーリング層
（意味不明）
形や位置などのずれを吸収できる。
全結合層
前後の層でノードを結びつける層のこと。
どうやら1つのノードは次の層の全ノードと結びつけるらしい。
順伝搬
（意味不明）
逆伝搬
（意味不明）
Kagele
（意味不明）
NVLink SLI接続
（意味不明）
複数のグラフィックボードを物理的に繋ぎ伝送路を短縮することで処理速度を向上させる方法。
通常のSLIだとメモリ空間は共有されない（はず）。
でもNVLinkはSLIと違ってメモリ空間も共有されるため相当早い、らしい。
アルゴリズム
パーセプトロン
（意味不明）
拡散モデル
拡散モデルは、初期データサンプルに制御されたランダムな変更を繰り返し加えることにより、新しいデータを作成します。元のデータから始めて微妙な変化 (ノイズ) を加え、徐々に元のデータとの類似度が低下していきます。このノイズは、生成されたデータが一貫性があり現実的な状態に保たれるように注意深く制御されています。
数回反復してノイズを追加した後、拡散モデルはプロセスを逆転させます。逆のノイズ除去によりノイズが徐々に除去され、元のデータに似た新しいデータサンプルが生成されます。
敵対的生成ネットワーク（GAN）
拡散モデルの概念に基づいて作られている。
この敵対的なプロセスは、ディスクリミネーターが実際のデータと区別できないほど説得力のあるデータを生成するまで続きます。
ジェネレーター：一つ目のネットワークとして、ランダムノイズを追加して偽のデータサンプルを生成する。
ディスクリミネーター：二つ目のネットワークとして、実際のデータとジェネレーターが生成する偽のデータを区別しようとする。
GAN は、リアルな画像の生成、スタイル転送、およびデータ拡張タスクに広く使用されています。
変分オートエンコーダー (VAE)
（意味不明）
変分オートエンコーダー (VAE) は、潜在空間と呼ばれるデータのコンパクトな表現を学習します。潜在空間は、データを数学的に表現したものです。これは、すべての属性に基づいてデータを表す一意のコードと考えることができます。例えば、顔を学習する場合、潜在空間には目の形、鼻の形、頬骨、耳を表す数字が含まれます。
VAE は、エンコーダーとデコーダーの 2 つのニューラルネットワークを使用します。エンコーダーニューラルネットワークは、入力データを潜在空間の各次元の平均と分散にマッピングします。ガウス (正規) 分布からランダムサンプルを生成します。このサンプルは潜在空間のポイントであり、入力データを圧縮して簡略化したものです。
デコーダーニューラルネットワークは、このサンプリングされたポイントを潜在空間から取得し、元の入力に似たデータに再構築します。数学関数を使用して、再構築されたデータが元のデータとどの程度一致しているかを測定します。
参考文献
生成AIの活用について：
aws 日本の生成 AI 活用を支援
aws Tag: 業界・目的別の生成 AI ユースケース