マルチモーダル AI とは？GPT-4o・Gemini・Claude の使い方

• マルチモーダル AI = テキスト・画像・音声・動画など複数モダリティを 1 モデルで扱う AI
• 現代の主要 LLM（GPT-4o / Claude / Gemini）はマルチモーダルがネイティブ対応
• 技術的基盤: 共通の埋め込み空間 + Transformer + Cross-Attention
• 主要モデル: GPT-4o / Gemini / Claude 4 / Llama Vision / LLaVA / CLIP / Whisper / Sora
• 応用: 画像 QA / OCR / 表組み解析 / 動画理解 / 音声対話 / アクセシビリティ
• 主な課題: 計算量増大 / 学習データの偏り / プロンプトインジェクション / プライバシ

import base64
from anthropic import Anthropic

client = Anthropic()

with open("chart.png", "rb") as f:
    img_b64 = base64.standard_b64encode(f.read()).decode()

res = client.messages.create(
    model="claude-sonnet-4-0",
    max_tokens=512,
    messages=[{
        "role": "user",
        "content": [
            {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": img_b64}},
            {"type": "text", "text": "このグラフのトレンドを 3 行で説明して"},
        ],
    }],
)
print(res.content[0].text)

• 画像解像度は適度に。大きすぎると料金・遅延増、小さすぎると情報損失
• OCR が必要ならマルチモーダル LLM 単独より専用 OCR と組合せる方が高精度なケースが多い
• 音声は長尺だと文字起こし + LLM のパイプラインが安定（GPT-4o リアルタイム音声は逆に対話向け）
• 動画はフレーム抽出 + キーフレーム要約からスタート（全フレーム投入は高コスト）
• マルチモーダル入力ではテキストプロンプトで画像の見方を誘導（「左上の数値だけ」等）
• ハルシネーション対策に「画像に写っていない情報は推測しない」を明示

• 料金・遅延: 画像 1 枚で数千〜数万トークン相当。テキストのみより高コスト
• 個人情報・顔: 学習・保存ポリシーをベンダーの利用規約で確認
• プロンプトインジェクション (画像版): 画像に書かれた文字が指示として解釈される事例あり
• OCR 精度: 表組み・手書き・低解像度ではエラーが残る
• 動画は計算重い: 数分の動画でもトークン消費が膨大
• 医療・法的用途は規制対象。診断の最終判断に直接使わない
• 偽情報生成: ディープフェイク、なりすまし音声等の悪用リスク
• 透かし / 出所表示の義務化（EU AI Act 等）