ページの作成
親となるページを選択してください。
親ページに紐づくページを子ページといいます。
例： 親=スポーツ, 子1=サッカー, 子2=野球
子ページを親ページとして更に子ページを作成することも可能です。
例： 親=サッカー, 子=サッカーのルール
親ページはいつでも変更することが可能なのでとりあえず作ってみましょう！
本稿は LLM (Large Language Model / 大規模言語モデル) に関する記事です。
| この記事の要点 |
|---|
|
LLM とは？
LLM (Large Language Model / 大規模言語モデル) は、大量のテキストデータから言語の確率分布を学習した巨大なニューラルネットです。本質的には「これまでの文脈から次の単語（トークン）が何になるか」を予測することを訓練の中心にしています。
2022 年の ChatGPT 公開以降、世界的に注目され、現在は 汎用チャット・コード生成・検索・エージェントなど、AI 応用のほぼ全領域の中核技術となりました。
「大規模」とは何が大規模か
| 指標 | 典型値（フロンティアモデル） |
|---|---|
| パラメータ数 | 数十億 (B) 〜 数兆 (T) |
| 学習データ量 | 数兆トークン |
| 学習計算量 | 1e24 〜 1e26 FLOPs（H100 数千〜数万枚 × 数ヶ月） |
| コンテキストウィンドウ | 数十万〜数百万トークン |
| 語彙サイズ | 3〜25 万トークン |
LLM の作り方（3 段階）
| 段階 | 手法 | 目的 |
|---|---|---|
| 1. 事前学習 (Pretraining) | 自己教師あり学習（次トークン予測） | Web スケールのテキストから言語の知識を獲得 |
| 2. SFT (Supervised Fine-tuning) | 高品質な指示-応答ペアで教師あり学習 | 指示に従う形にする（Instruction Tuning） |
| 3. RLHF / DPO | 人間の好み比較データで強化学習・選好学習 | 有用・無害・誠実な応答に整える |
| 補足: なぜ事前学習が「自己教師あり」か |
|---|
| 「次の単語を当てる」「マスクされた単語を当てる」というラベルを自動で作れるタスクを大量テキストに適用するため、人手アノテーション無しで Web スケールの学習ができます。これにより GPT / BERT / Llama 等の巨大モデルが現実的に学習可能になりました。 |
スケーリング則
LLM の性能はパラメータ数・データ量・計算量を増やすほど予測可能な形で伸びることが OpenAI・DeepMind の研究で示されました（Chinchilla 論文・OpenAI Scaling Laws）。これが「とにかく大きく作れば賢くなる」現代 LLM 競争の理論的背景です。
代表的な LLM 系列
| 提供元 | 系列 | 公開度 |
|---|---|---|
| OpenAI | GPT-3.5 → GPT-4 → GPT-4o → GPT-5、o1 / o3（推論特化） | クローズド（API のみ） |
| Anthropic | Claude 3 → 3.5 → 4（Opus / Sonnet / Haiku） | クローズド（API のみ） |
| Google DeepMind | Gemini 1.0 → 2.5（Ultra / Pro / Flash）、Gemma（OSS） | クローズド本流 + Gemma OSS |
| Meta | Llama 2 / 3 / 4 系（OSS） | オープンウェイト（条件付き商用可） |
| Mistral AI | Mistral / Mixtral / Codestral | 一部 OSS、一部商用 |
| DeepSeek | DeepSeek V3 / R1 | OSS |
| Alibaba | Qwen 系（一部 OSS） | OSS / 商用 |
| xAI | Grok | クローズド（一部公開） |
用途別の使い分け
| タスク | 適した使い方 |
|---|---|
| 質問応答 / 雑談 | ChatGPT / Claude / Gemini 等の汎用チャット |
| 長文要約・契約書解析 | 長コンテキスト対応モデル（Claude Sonnet/Opus、Gemini Pro） |
| コード生成・修正 | コード特化モデル / コーディング支援AI |
| 数学・複雑な推論 | 推論特化モデル（GPT o3、Claude Extended Thinking、Gemini 2.5 Thinking） |
| 多言語翻訳 | Gemini、GPT-4o、Claude |
| 業務システム組込 | API 経由（OpenAI / Anthropic / Bedrock / Vertex AI） |
| オンプレ / 機密性最重視 | OSS LLM（Llama / Mistral / DeepSeek）をセルフホスト |
性能を引き出すキー技術
- Prompt Engineering: 指示文の設計で精度が大幅に変わる
- Few-shot / Chain-of-Thought: 例を見せる / 段階的に考えさせる
- RAG (検索拡張生成): 外部ナレッジを検索して LLM に渡す
- Tool Use / Function Calling: 関数や外部 API を LLM が選んで呼ぶ
- エージェント: 計画 → 実行 → 観察のループで複数手順を自律実行
- ファインチューニング / LoRA: 用途特化の追加学習
- 蒸留・量子化: 小型化・高速化（INT8 / 4-bit）
LLM の限界（必ず押さえる）
| 限界 | 具体例 / 対処 |
|---|---|
| ハルシネーション | もっともらしいが事実誤認。RAG / 出典付け / 人間レビューで緩和 |
| 学習データのカットオフ | ある時点以降の情報を知らない。Web 検索や RAG で補強 |
| コンテキストウィンドウ | 入力できるトークン数に上限。長文は分割 / 要約 |
| 数値計算・厳密推論 | 桁数の多い計算は苦手。電卓 Tool / Python 実行を呼ばせる |
| 最新情報・固有名詞 | 学習後のニュースは知らない。検索ツールと併用 |
| バイアス | 学習データの偏りをそのまま反映 |
| 確率的出力 | 同じ入力でも出力が変わる。temperature=0 / seed で抑制 |
| プロンプトインジェクション | 外部入力で指示が乗っ取られる。入力サニタイズ / 権限分離 |
| コスト・レイテンシ | 大型モデルは高い。タスクに合った小型モデル選択 |
業務利用の注意
| よくある落とし穴 |
|---|
|
関連
- 親カテゴリ: AIの基礎概念
- 関連: Transformer / Attention / Embedding / Prompt Engineering / RAG / AIエージェント / ファインチューニング
- サービス: ChatGPT / Claude / Gemini / Microsoft Copilot
- 背景: ディープラーニング / AI 人工知能
ページの作成
親となるページを選択してください。
親ページに紐づくページを子ページといいます。
例： 親=スポーツ, 子1=サッカー, 子2=野球
子ページを親ページとして更に子ページを作成することも可能です。
例： 親=サッカー, 子=サッカーのルール
親ページはいつでも変更することが可能なのでとりあえず作ってみましょう！
子ページ
子ページはありません
人気ページ
- 1 Eclipseで「サーバーに追加または除去できるリソースがありません。」の原因と対処法
- 2 tomcat の起動 / 停止ログと catalina.log・catalina.out の違い
- 3 【Javascript】base urlを取得する方法
- 4 YouTube Data API (v3) のエラー一覧｜403系エラーの確認ポイント
- 5 Spring Frameworkのアノテーション一覧
- 6 Laravelのエラー一覧｜原因と対処の入口ページ
- 7 3D グラフィックスとは？Unity・OpenGL・DirectX の基礎
- 8 【Spring】@Valueアノテーションとは
- 9 CATALINA_HOME の確認方法 (Linux / Mac)
- 10 【Spring】@Autowiredアノテーションとは
最近更新/作成されたページ
- AIの基礎概念：LLM/Transformer/Attention/RAG/エージェント など必須キーワード NEW 2026-05-13 12:19:18
- Diffusion Model とは？画像生成 AI の仕組み・Stable Diffusion NEW 2026-05-13 12:18:15
- マルチモーダル AI とは？GPT-4o・Gemini・Claude の使い方 NEW 2026-05-13 12:18:14
- トークン / コンテキストウィンドウとは？料金・上限・最適化 NEW 2026-05-13 12:18:14
- ファインチューニングとは？LoRA・QLoRA・SFT・RLHF/DPO NEW 2026-05-13 12:18:13
- AIエージェントとは？Tool Use・LangGraph・MCP・実装例 NEW 2026-05-13 12:18:13
- RAG (検索拡張生成) とは？仕組み・実装・LangChain 例 NEW 2026-05-13 12:18:12
- Prompt Engineering とは？技法・Chain-of-Thought・実践例 NEW 2026-05-13 12:18:12
- Attention (注意機構) とは？Q/K/V・Multi-Head の仕組み NEW 2026-05-13 12:18:11
- Embedding (埋め込み) とは？ベクトル化・類似検索・RAG NEW 2026-05-13 12:18:11
- Transformer とは？仕組み・Self-Attention・LLM の基礎 NEW 2026-05-13 12:18:10
- LLM (大規模言語モデル) とは？仕組み・代表モデル・使い方 NEW 2026-05-13 12:18:10
- ディープラーニングとは？CNN・RNN・Transformer・LLM の入門 2026-05-13 10:24:07
- 機械学習とは？教師あり・教師なし・強化学習・代表アルゴリズム 2026-05-13 10:24:07
- AIに必要な数学：線形代数・微積分・確率統計・情報理論・最適化 2026-05-13 10:20:39
コメントを削除してもよろしいでしょうか？