ONNX Runtime とは？クロスプラットフォーム AI 推論エンジン

• ONNX Runtime は "学習済みモデルを高速・移植可能に推論する" ためのランタイム
• ONNX (Open Neural Network Exchange) は PyTorch / TensorFlow / scikit-learn 等が共通でエクスポートできるモデル形式
• 同じモデルをWindows / Linux / Mac / Android / iOS / Web (WASM) で動かせる
• CPU / NVIDIA / AMD / Intel / Apple / TensorRT / DirectML 等を実行プロバイダ (Execution Provider) で切替
• 「研究は PyTorch、本番推論は ONNX Runtime」の組合せが現実的な選択肢のひとつ

import torch
import torch.nn as nn

# 1) PyTorch モデル
model = nn.Sequential(nn.Linear(10, 64), nn.ReLU(), nn.Linear(64, 1)).eval()
dummy = torch.randn(1, 10)

# 2) ONNX 形式に書き出し
torch.onnx.export(
    model, dummy, "model.onnx",
    input_names=["x"], output_names=["y"],
    dynamic_axes={"x": {0: "batch"}, "y": {0: "batch"}},
    opset_version=17,
)

# 3) ONNX Runtime で推論
import onnxruntime as ort
import numpy as np

sess = ort.InferenceSession("model.onnx", providers=["CPUExecutionProvider"])
out = sess.run(["y"], {"x": np.random.randn(4, 10).astype(np.float32)})
print(out[0].shape)  # (4, 1)

# CPU 版 (Python)
pip install onnxruntime

# NVIDIA GPU 版
pip install onnxruntime-gpu

# DirectML 版 (Windows GPU 全般)
pip install onnxruntime-directml

# モデル変換ユーティリティ
pip install onnx tf2onnx skl2onnx

# 量子化ツール
pip install onnxruntime-tools

• Opset バージョン: モデル変換時の Opset を新しめに揃える。古いと最新 EP の最適化が効かない
• 動的入力: バッチや系列長を可変にする場合は dynamic_axes を必ず指定
• 量子化: onnxruntime.quantization で INT8 にすると CPU 推論が 2〜4 倍速くなることがある
• セッションオプション: intra_op_num_threads / inter_op_num_threads をワーカ数に合わせて調整
• I/O Binding: GPU 間で入出力テンソルをコピーしない高速 API
• 本番では同じプロセス内で複数モデルを持つ場合、起動時に予めセッションを作っておく

• 未対応演算子: PyTorch / TF の独自演算子は ONNX に変換できないことがある。変換時に必ず数値検証
• 動的形状の罠: 学習時は動的、推論時は固定にしておくと最適化が効く場合がある
• EP の組合せ: CUDA EP と CPU EP のフォールバックが起きると遅くなる。プロファイラで確認
• onnxruntime と onnxruntime-gpu は同じ環境に両方入れない。後勝ちで挙動が変わる
• LLM 系: ONNX 変換は可能だが、KV キャッシュやアテンション最適化は専用ランタイム (vLLM 等) が有利
• セキュリティ: 信頼できないソースの .onnx はカスタム演算子でコード実行リスクがある場合がある。検証してから使う
• モデル変換時の浮動小数点誤差で、PyTorch 推論結果と完全一致しないことがある（許容差を設計）