Embedding (埋め込み) とは？ベクトル化・類似検索・RAG

• Embedding は単語・文・画像・コードなどを「意味を保ったベクトル」に変換したもの
• 距離が近いベクトル = 意味が近い、というルールが学習される
• 用途: 類似検索 / レコメンド / クラスタリング / RAG / クラス分類
• 典型次元: 256〜3072 次元（モデル依存）
• 主要モデル: OpenAI text-embedding-3 / Cohere Embed / BGE / E5（OSS）
• 類似度: コサイン類似度が定番。距離は内積 / L2 も用途次第
• 保存先: ベクトルDB（Chroma / pgvector / Pinecone / Qdrant / Faiss）

from openai import OpenAI
import numpy as np

client = OpenAI()

def embed(texts):
    res = client.embeddings.create(model="text-embedding-3-small", input=texts)
    return np.array([d.embedding for d in res.data])

docs = [
    "PyTorch はディープラーニングのフレームワーク",
    "バナナは黄色い果物",
    "TensorFlow も DL ライブラリ",
]
doc_vecs = embed(docs)
query_vec = embed(["機械学習のライブラリは？"])[0]

# コサイン類似度
def cos(a, b): return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))
for i, dv in enumerate(doc_vecs):
    print(f"{cos(query_vec, dv):.3f} | {docs[i]}")

• 同一モデル・同一バージョンで生成した Embedding 同士でしか比較できない。途中でモデルを変えると全件再生成
• 類似度しきい値はデータセットごとに実測して決める（0.7 が常に良い等はない）
• RAG の検索品質はチャンク分割が支配的。サイズ・重複・分割単位を試行錯誤
• 多言語データを扱うなら多言語対応モデル（multilingual-e5、bge-multilingual）
• OpenAI Embedding は長さに料金が比例。トークン数を見積もる
• 機密データはローカル埋め込み（BGE / nomic）でクラウド送信を避ける
• 精度向上には再ランク（Reranker）を後段で入れる

• 類似 ≠ 答え: 似ていてもユーザの意図と違うチャンクが返ることがある
• 意味検索だけだと弱い: 固有名詞・型番は BM25 などのキーワード検索とハイブリッドが強い
• Embedding の偏り: 学習データの偏りで特定話題で性能が落ちる
• 次元呪い: 高次元ほど距離が均一化しやすい。再ランクで補強
• 長文を 1 ベクトルに: 重要情報が薄まる。チャンク分割が基本
• 料金・遅延: 大量埋め込みは時間とコストがかかる。バッチで実行