この記事の要点

DB ファイルと大量データ交換フォーマットを扱うジャンル 組み込み DB: .sqlite / .db — 1 ファイル + ロックで完結 列指向: .parquet / .orc — 集計が爆速、Snowflake / BigQuery / Spark 標準 行指向: .avro — Kafka などストリーミング向け、スキーマ進化に対応 SQL ダンプ: .sql — mysqldump / pg_dump 出力

このカテゴリについて

DB・データ交換系は、データの永続化と大量受け渡しを担うバイナリ／テキスト形式群です。Web 系の JSON / CSV と異なり、こちらは「数十 GB を秒で読み書きする」「スキーマを厳格に持つ」「並列処理しやすい」といったデータ処理の効率に特化しています。

2020 年代のデータ基盤では、CSV → Parquet への移行が常識化しました。同じ集計を実行したとき、Parquet は10〜100 倍速く、容量も 1/5〜1/10 になるからです。Spark / BigQuery / Snowflake / Athena といったクラウド DWH はすべて Parquet を第一級でサポートします。

データベース・データ交換で扱う主な拡張子

拡張子	概要
.sql	SQL スクリプト。mysqldump / pg_dump の出力
.sqlite / .sqlite3 / .db	SQLite データベース。1 ファイルで完結
.mdb / .accdb	Microsoft Access
.parquet	Apache Parquet。列指向、Snappy/zstd 圧縮
.orc	Apache ORC。Hive 由来の列指向
.avro	Apache Avro。行指向 + スキーマ埋め込み
.feather / .ipc	Apache Arrow IPC。インメモリ → ディスク
.ndjson / .jsonl	Newline-Delimited JSON。1 行 1 レコード
.bson	Binary JSON。MongoDB 内部形式
.proto	Protocol Buffers スキーマ
.dump / .bak	DB バックアップ汎用

用途別の使い分け

目的	推奨形式	理由
モバイルアプリのローカル DB	.sqlite	1 ファイル、トランザクション、デファクト
DWH での大量集計	.parquet	列指向で圧縮率・読込み速度ともに最強
Kafka / ストリーミング	.avro	スキーマ進化、コンパクト
ETL の中間データ	.parquet / .feather	Spark / Pandas 双方で高速ロード
1 件ずつ追記したいログ	.ndjson	標準ツールで読める、追記可能
DB バックアップ	.sql.gz / .dump	テキスト or バイナリのフルダンプ
gRPC スキーマ	.proto	言語非依存、コード生成可

関連カテゴリ・記事

• ファイル拡張子とは（概論）
• データベース（カテゴリ）
• SQLite
• テキスト・ドキュメント形式 — CSV / TSV との比較