5.

AIライブラリ一覧:PyTorch・TensorFlow・Hugging Face・LangChain 等の比較

編集
この記事の要点
  • 古典 ML → scikit-learn / XGBoost / LightGBM
  • ディープラーニング → PyTorch(主流)/ TensorFlow / JAX
  • LLM 利用 → Hugging Face Transformers / vLLM / Ollama / llama.cpp
  • LLM アプリ → LangChain / LlamaIndex / Vercel AI SDK
  • 本番推論 → ONNX Runtime / TensorRT / Triton Inference Server
  • ベクトル DB → Chroma / Faiss / pgvector / Pinecone / Qdrant
  • 選定軸: 目的 / 言語 / ライセンス / GPU / エコシステム / デプロイ手段

本稿は AI ライブラリのハブページです。AI / 機械学習 / ディープラーニング / LLM 応用の開発で使われる、主要なライブラリ・フレームワークをまとめます。

子ページから個別ライブラリを選択してください。

本ページの子ページ(現状)

  • TensorFlow — Google 発の DL フレームワーク
  • scikit-learn — 古典的な機械学習の定番ライブラリ

※ 今後、PyTorch / Hugging Face Transformers / LangChain / LlamaIndex / JAX / ONNX Runtime 等を順次拡充予定。

用途別の代表ライブラリ

用途代表ライブラリ備考
古典的な機械学習scikit-learn、XGBoost、LightGBM、CatBoost表形式データ・予測モデルの定番
ディープラーニングPyTorch、TensorFlow / Keras、JAX研究は PyTorch、本番デプロイは TF も依然多い
LLM / TransformerHugging Face Transformers、vLLM、Ollama、llama.cpp事前学習モデル利用と推論サーバ
LLM アプリ開発LangChain、LlamaIndex、LangGraph、HaystackRAG・エージェント・チェーン構築
LLM API クライアントopenai、anthropic、google-generativeai 等の公式 SDK各ベンダー API ラッパー
モデル運用 / デプロイONNX Runtime、TensorRT、Triton Inference Server推論高速化・サービング
データ処理NumPy、pandas、Polars、Apache Arrow前処理の土台
可視化Matplotlib、seaborn、PlotlyEDA・モデル評価
ベクトル DB / 検索Chroma、Faiss、pgvector、Pinecone、Qdrant、WeaviateRAG の検索層
強化学習Stable-Baselines3、Ray RLlib、Gymnasium方策学習・環境
画像OpenCV、Pillow、torchvision、timm前処理・モデル zoo
音声torchaudio、librosa、whisper、speechbrain音声処理・認識
NLP 古典spaCy、NLTK、gensim形態素・分散表現
実験管理MLflow、Weights & Biases、TensorBoard学習ログ・モデル管理
分散学習DeepSpeed、Accelerate、FSDP、Megatron-LM大規模モデル学習の高速化
ファインチューニング補助PEFT、LoRA、QLoRA、TRL (RLHF/DPO)軽量適応・嗜好学習
エージェントLangGraph、AutoGen、CrewAI、smol-agentsツール呼出・複数手順実行

PyTorch / TensorFlow / JAX の比較

項目PyTorchTensorFlow / KerasJAX
立ち位置研究 & 実装の事実上の標準本番 / モバイル / 既存資産研究・XLA による高速化
APIPythonic・命令型 (eager)Keras で高レベル / tf.function関数型・jit / vmap / grad
分散・量子化FSDP、torch.compile、bitsandbytestf.distribute、TFLite、TF Servingpjit、pmap、TPU 親和性高
デプロイTorchScript、ONNX、TorchServeTF Serving、TFLite、TF.jsJAX2TF、ONNX 経由
採用例Hugging Face、Meta 系、研究論文の多数Google 内製、業務系で根強いGoogle DeepMind、Gemini など
学習開始しやすさ◯ (Keras)△ (関数型に慣れが必要)

LLM アプリ開発でよく使う組合せ

レイヤ代表選択肢
LLM 呼出OpenAI / Anthropic / Google SDK、または LangChain / LlamaIndex の抽象化
ベクトル DBChroma (ローカル) / pgvector (RDBMS統合) / Pinecone・Qdrant (マネージド)
埋め込み生成OpenAI text-embedding-3、Cohere、bge / e5 系 (OSS)
オーケストレーションLangGraph / LlamaIndex Workflow / 自前のステートマシン
UI / プロトStreamlit、Gradio、Next.js + Vercel AI SDK
監視・評価LangSmith、Helicone、Phoenix、Promptfoo、Weights & Biases

選定の観点

  • 目的: 学習を自前でやるか / 既存モデルを使うだけか
  • 言語: 大半は Python だが、JS/TS の Vercel AI SDK 等もある
  • ライセンス: Apache 2.0 / MIT / 商用条件付き OSS / 商用クローズド
  • GPU / TPU: 必要なハードと CUDA / ROCm / Metal / TPU 対応
  • エコシステム: モデル zoo の規模 (Hugging Face Hub)、コミュニティ、論文実装
  • 本番デプロイ: TorchScript / ONNX / TensorRT 等のエクスポート対応
  • 更新頻度: 半年〜1年でメジャー版が変わる分野。塩漬けはリスク

OSS と商用クラウドの境界

形態代表位置づけ
OSS ライブラリPyTorch / TensorFlow / Hugging Face Transformers無料・自前運用
OSS モデルLlama / Mistral / Gemma / DeepSeek / Stable Diffusion重みが公開 (商用条件は要確認)
マネージドモデル APIOpenAI / Anthropic / Google / xAI従量課金。最新性能
クラウド AI 基盤Azure OpenAI / AWS Bedrock / Vertex AI企業契約・コンプラ重視
ローカル LLM 実行Ollama、llama.cpp、LM Studio、JanPC 上で OSS モデルを動かす

注意点

  • バージョン破壊: AI 系ライブラリは API が頻繁に変わる。requirements.txtpoetry.lock でバージョン固定必須
  • CUDA / cuDNN / Python のバージョン整合: GPU を使う場合、PyTorch / TensorFlow とドライバの組合せで詰まりやすい
  • モデルライセンス: Llama の商用利用条件、Stable Diffusion の派生モデル等、利用前に確認
  • 推論コスト: GPU 時間・API トークン単価が想定外に膨らみやすい。監視必須
  • セキュリティ: pickle 形式モデルや任意コード実行可能なツール (PyTorch hub の一部) は信頼できるソースのみ
  • 個人情報・機密: API 利用時は学習データ化されない契約形態を選ぶ

関連

編集
Post Share
子ページ
  1. PyTorch
  2. TensorFlow(テンソルフロー)
  3. scikit-learn
  4. Hugging Face Transformers
  5. LangChain
  6. LlamaIndex
  7. JAX
  8. ONNX Runtime
同階層のページ
  1. 機械学習
  2. AIに必要な数学
  3. AIの基礎概念
  4. AIサービス
  5. AIライブラリ