最適化とは？AI 学習を支える勾配降下法・Adam・凸最適化の基礎

• 最適化は「ある関数を最小（最大）にする変数を求める数学」。AI の学習はすべて損失関数の最適化問題
• 中核は 勾配降下法 とその発展形（SGD, Momentum, RMSProp, Adam）
• 制約付き最適化なら ラグランジュ未定乗数法 / KKT 条件。線形計画なら シンプレックス法 / 内点法
• AI 実装ではライブラリの Optimizer クラスを選ぶだけだが、なぜ Adam が選ばれるかを理解しているとチューニングが速い

import torch
from torch import optim

model = MyModel()

# Adam optimizer（事実上の標準）
optimizer = optim.AdamW(model.parameters(), lr=1e-3, weight_decay=0.01)

# 学習率スケジューラ（cosine decay）
scheduler = optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=100)

for epoch in range(100):
    for x, y in loader:
        optimizer.zero_grad()
        loss = criterion(model(x), y)
        loss.backward()
       
        # 勾配クリッピング
        torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
       
        optimizer.step()
    scheduler.step()