過去バージョン

• PyTorch は現代のディープラーニングで事実上の標準。研究論文の実装の大多数がこれ
• Pythonic で命令型 (eager mode)。普通の Python のように書ける → デバッグが容易
• Hugging Face / Transformers など主要 LLM エコシステムが PyTorch 前提
• 本番では torch.compile や TorchScript / ONNX で高速化・他環境へエクスポート
• GPU が事実上必須。CUDA (NVIDIA) が主。ROCm (AMD) や MPS (Apple) も対応

import torch

# テンソル作成 (GPU が使えれば cuda へ)
device = "cuda" if torch.cuda.is_available() else "cpu"
x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True, device=device)

# 順伝播 (forward)
y = (x ** 2).sum()

# 自動微分 (backward)
y.backward()
print(x.grad)  # tensor([2., 4., 6.])

import torch, torch.nn as nn, torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# データ
X = torch.randn(1000, 10); y = torch.randn(1000, 1)
loader = DataLoader(TensorDataset(X, y), batch_size=32, shuffle=True)

# モデル定義
model = nn.Sequential(
    nn.Linear(10, 64), nn.ReLU(),
    nn.Linear(64, 1),
)
loss_fn = nn.MSELoss()
opt = optim.AdamW(model.parameters(), lr=1e-3)

# 学習ループ
for epoch in range(10):
    for xb, yb in loader:
        pred = model(xb)
        loss = loss_fn(pred, yb)
        opt.zero_grad()
        loss.backward()
        opt.step()
    print(f"epoch {epoch}: loss={loss.item():.4f}")

# 1) CPU 版 (どこでも動く)
pip install torch torchvision torchaudio

# 2) NVIDIA GPU 版 (CUDA 12.x 例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 3) macOS (Apple Silicon)
pip install torch torchvision torchaudio  # MPS 自動利用

# 動作確認
python -c "import torch; print(torch.__version__, torch.cuda.is_available())"

• torch.compile(model) で 1.3〜2倍の高速化を狙う (PyTorch 2.0+)
• GPU で torch.cuda.amp (混合精度)・bfloat16 を使う
• DataLoader は num_workers 多め＋pin_memory=True
• 大規模モデルは FSDP / DeepSpeed でメモリ削減
• 推論は torch.inference_mode() + .eval() を必ず
• 非対称量子化 (INT8 / 4-bit) で推論メモリ削減 (bitsandbytes)

• CUDA / cuDNN / Python のバージョン整合で詰まる — 公式のインストールジェネレータを使う
• 勾配がリセットされない — 各バッチで opt.zero_grad() を忘れない
• 非リーフテンソルの .grad は得られない — retain_graph=True や register_hook を検討
• .eval() と .train() の切替 — BatchNorm/Dropout は挙動が変わる
• GPU メモリのリーク — 中間テンソルを detach() したり、del + torch.cuda.empty_cache()
• .cuda() / .to(device) の漏れ — 一方が CPU、もう一方が GPU で実行時エラー
• 非決定性 — 再現性が必要なら torch.use_deterministic_algorithms(True)
• pickle 形式の .pt ファイルは任意コード実行可能。信頼できないモデルは使わない (safetensors 推奨)