Hugging Face Transformers とは？OSS LLM 利用の標準ライブラリ

• Transformers は OSS LLM・モデルを扱うときの事実上の標準ライブラリ
• Hugging Face Hub には50万モデル以上が公開されており、数行のコードで読み込んで実行できる
• NLP・画像・音声・マルチモーダルを統一 API で扱える
• PyTorch 中心 (TensorFlow/JAX バックエンドもあり)
• pipeline を使えば最短 3 行で推論可能。本格運用には AutoModel + AutoTokenizer

from transformers import pipeline

# 感情分析
cls = pipeline("sentiment-analysis")
print(cls("I love this library!"))
# [{"label": "POSITIVE", "score": 0.999...}]

# テキスト生成 (小型モデル例)
gen = pipeline("text-generation", model="gpt2")
print(gen("Hello,", max_new_tokens=20))

# 音声認識 (Whisper)
asr = pipeline("automatic-speech-recognition", model="openai/whisper-base")
print(asr("audio.wav")["text"])

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

name = "meta-llama/Llama-3.2-1B-Instruct"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, torch_dtype=torch.bfloat16, device_map="auto")

messages = [{"role": "user", "content": "1+1は？"}]
inputs = tok.apply_chat_template(messages, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=64)
print(tok.decode(out[0], skip_special_tokens=True))

# 基本セット
pip install transformers accelerate

# データセットも使うなら
pip install datasets evaluate

# 画像生成
pip install diffusers transformers accelerate

# LoRA / QLoRA
pip install peft bitsandbytes

# 高速推論サーバ
pip install vllm

• 大型モデルは device_map="auto" で複数 GPU に自動配置
• VRAM が足りないなら load_in_4bit=True (bitsandbytes) で 4-bit 量子化
• サーバ推論は pipeline ではなく vLLM / TGI でスループット数倍
• 初回ダウンロードはキャッシュされる (~/.cache/huggingface)。CI ではキャッシュ共有を検討
• ライセンス制限のあるモデル (Llama 等) は事前にアクセス申請＋トークン設定が必要
• 本番推論は safetensors 形式のみを許可するのが安全

• モデルライセンスはモデルごとに違う (Llama Community License、Apache 2.0、GPL、商用不可など)。読まずに採用しない
• 古い .bin (pickle) は任意コード実行のリスク。safetensors を使う
• 大型モデル (7B / 13B / 70B) のフル精度はVRAM が一桁足りないことが多い。量子化・分散で対応
• pipeline はバッチ性能が低い。本番は vLLM や TGI へ
• API バージョンアップで引数名や挙動が変わることがある。requirements.txt で固定
• Hub から落としたモデルは大容量 (数 GB〜数百 GB)。ストレージ計画が必要
• 機密データでファインチューニングしたモデルを誤って Public で pushしない