◀ 56.

uniq コマンド完全ガイド｜重複除去・出現回数カウント・sort との併用

▶
編集
この記事の要点
  • uniq は連続する重複行をまとめて除去・カウントするコマンド
  • ⚠️ 重要: 連続していない重複は除けない。必ず先に sort することが定石
  • -c で各行の出現回数をカウント (ヒストグラム作成に最強)
  • -d で重複行のみ表示、-u で 1 回だけの行を表示
  • -i で大文字小文字を無視、-f N で先頭 N フィールドを無視
  • sort -u と機能が重なるが、カウント (-c) は uniq 独自

概要

uniq は GNU coreutils に含まれる、隣接する重複行を 1 行に圧縮するコマンドです。POSIX 標準に含まれ、軽量で高速ですが、最大の注意点は「連続する重複しか見ない」ことです。そのため通常は sort | uniq という組み合わせで使われます。

単純な重複除去だけでなく、-c オプションを使えば「どの値が何回出現したか」のヒストグラムを瞬時に作れます。アクセスログ解析・エラー集計・データ品質チェックなどで定番のツールです。

基本構文

uniq [OPTIONS] [INPUT [OUTPUT]]

# 必ず sort してから
sort file.txt | uniq

# カウント付き
sort file.txt | uniq -c

主要オプション

オプション説明
-c各行の出現回数を先頭に付ける
-d重複している行だけ表示
-u重複していない行だけ表示
-i大文字小文字を区別しない
-f N先頭 N フィールドを比較から除外
-s N先頭 N 文字を比較から除外
-w N各行の最初 N 文字だけを比較対象に

実用例

# 1) 単純な重複除去
sort urls.txt | uniq

# 2) 各値の出現回数
sort errors.log | uniq -c

# 3) 出現回数の多い順 TOP10
sort access.log | uniq -c | sort -rn | head

# 4) 2 回以上出てくる行だけ
sort emails.txt | uniq -d

# 5) ユニークな (1 回だけの) 行
sort tags.txt | uniq -u

# 6) 大文字小文字を無視して集計
sort -f domains.txt | uniq -ci

関連コマンドとの比較・組み合わせ

用途おすすめ
単純重複除去sort -u (1 コマンド)
出現回数を数えるsort | uniq -c
並び順を保ったまま重複除去awk '!seen[$0]++'
# 順序を保つ重複除去 (awk の慣用句)
awk '!seen[$0]++' file.txt

注意点・落とし穴

  • 連続行のみ: uniq 単体では離れた重複を見つけられない。必ず sort と組み合わせる。
  • -c の出力は「回数 行内容」形式。再ソートするには sort -rn でよい。
  • 大文字小文字無視 -i は uniq の比較だけに効く。sort 側は -f を別途指定。
  • 巨大ファイルでは sort で時間がかかるため、awk の !seen[$0]++ のほうが速い場合がある。

関連リンク

実用 Tips とパフォーマンス特性

uniq は連続した重複行しか除去できないため、ファイル全体で重複を消したい場合は必ず sort | uniq の組み合わせか、sort -u を使います。sort -u は内部で同じ処理を行うため高速で、巨大ファイルでは uniq 単独より優先されます。

特殊な使い方として、sort | uniq -c | sort -nr | head は頻出ワード上位 Nを出すワンライナーとして覚えておくと便利です。アクセスログ分析や TODO のカテゴリ集計で頻出します。

# アクセスログから URL 別アクセス数 TOP 10
awk '{print $7}' access.log | sort | uniq -c | sort -nr | head -10

# 重複行を「3 回以上出現したものだけ」抽出
sort data.txt | uniq -c | awk '$1 >= 3 {print $2}'

落とし穴: uniq -f N でフィールドスキップしたとき、区切り文字はホワイトスペース固定で、CSV のようなカンマ区切りには直接適用できません。cut や awk で前処理してから渡す必要があります。

編集
Post Share
子ページ

子ページはありません

同階層のページ
  1. ls ファイル/ディレクトリ一覧表示
  2. sudo ユーザー指定
  3. cron/crontab ジョブの自動実行と登録方法
  4. wget http通信によるファイルダウンロード
  5. rm ファイル/ディレクトリ削除
  6. pwd カレントディレクトリの表示
  7. cd ディレクトリの移動
  8. ./configure
  9. make
  10. make install
  11. unzip ファイルの解凍
  12. mv ファイル/ディレクトリの移動および名称変更
  13. mkdir ディレクトリの作成
  14. touch 空ファイルの新規作成
  15. vi テキストディタの使用
  16. find ファイル/ディレクトリ検索
  17. grep 文字列の検索
  18. tail ファイルの末尾表示
  19. curl HTTP通信によるリクエスト
  20. nslookup ドメインのIP解決
  21. apt update パッケージリストの情報を更新
  22. apt upgrade パッケージの更新
  23. ln リンク/ショートカットの作成と削除
  24. rsync ファイル/ディレクトリの同期
  25. ssh リモートとの暗号化通信
  26. scp sshを利用したファイルのコピー
  27. unzip zip ファイルを解凍する
  28. cp ファイル/ディレクトリのコピー
  29. diffファイルの差分抽出
  30. fdisk ハードディスクに対する操作
  31. lsblk デバイスをツリー状で表示する
  32. kill プロセスを終了させる
  33. zip ファイルやディレクトリをzip形式に圧縮する
  34. hostコマンド
  35. chmod 権限の変更
  36. ip IPアドレスの確認
  37. chown コマンド（所有者の変更）
  38. chgrp ファイル/ディレクトリのグループ情報の変更
  39. nohupと'&' プログラムのバックグラウンド実行(ssh接続時)
  40. lsof 開いているポート番号の確認
  41. tar ファイルの圧縮と解凍
  42. file ファイルの種類を表示
  43. cat ファイルの中身を表示
  44. head ファイルの先頭部分を表示
  45. wc 行数/単語数/文字数を確認
  46. shutdown システムのシャットダウンと再起動
  47. ps プロセスの確認
  48. which コマンドの絶対パスを調べる
  49. yum RedHat系ディストリビューションの管理
  50. mount ファイルシステムのマウント
  51. 特定フォルダ以下の特定拡張子のファイルを再帰的に削除する方法
  52. 特定のフォルダとそのサブフォルダ内にある特定のファイル名のファイルを再帰的に削除
  53. sed テキスト処理用ストリームエディタ
  54. awk フィールド単位の柔軟なテキスト処理
  55. sort 行の並び替え
  56. uniq 重複行の除去・カウント
  57. cut 行から特定列を切り出し
  58. tr 文字の置換・削除
  59. less ページャでファイルを読む
  60. more 古典ページャ
  61. xargs 標準入力をコマンド引数に変換
  62. paste 複数ファイルを列方向に結合
  63. top プロセスの動的監視
  64. htop 強化版インタラクティブプロセス監視
  65. nice プロセスの優先度を指定して起動
  66. renice 実行中プロセスの優先度を変更
  67. jobs シェル管理下のジョブ一覧
  68. bg ジョブをバックグラウンドで実行
  69. fg バックグラウンドジョブをフォアグラウンドに
  70. killall プロセス名でまとめて終了
  71. pgrep プロセス名から PID を検索
  72. pkill プロセス名でシグナルを送信
  73. uname システム情報の表示
  74. uptime システム稼働時間とロードアベレージ
  75. free メモリ使用状況の表示
  76. df ディスク使用量 (ファイルシステム単位)
  77. du ディレクトリ・ファイル単位の使用量
  78. lscpu CPU 情報の表示
  79. lsmod 読み込み済みカーネルモジュール一覧
  80. lspci PCI デバイス一覧
  81. dmesg カーネルリングバッファの表示
  82. w ログイン中ユーザーと負荷の表示
  83. ping ホストへの到達性とラウンドトリップ確認
  84. traceroute ホストまでの経路を表示
  85. netstat ネットワーク接続・ルーティング表示 (旧式)
  86. ss netstat 後継、ソケット統計
  87. ifconfig ネットワークインターフェース表示・設定 (旧式)
  88. dig DNS リゾルバ問い合わせの定番
  89. route ルーティングテーブル表示 (旧式)
  90. iptables Linux パケットフィルタリング
  91. telnet TCP 接続診断・古典的リモートログイン
  92. arp ARP テーブルの表示・編集 (旧式)
  93. useradd ユーザーアカウントの作成
  94. usermod 既存ユーザーアカウントの変更
  95. userdel ユーザーアカウントの削除
  96. passwd パスワードの変更・管理
  97. groupadd グループの追加
  98. id ユーザーとグループの ID・所属を表示
  99. whoami 現在のユーザー名を表示
  100. su 別ユーザーに切り替え
  101. dnf Red Hat 系の次世代パッケージマネージャ (yum 後継)
  102. pacman Arch Linux のパッケージマネージャ
  103. echo 文字列・変数の出力
  104. export 環境変数の設定と継承
  105. alias コマンドの別名定義
  106. source / . スクリプトをカレントシェルで実行
  107. history コマンド履歴の表示・操作
  108. type コマンドの種別 (組み込み/関数/エイリアス/外部) を表示
  109. env 環境変数表示と一時設定でコマンド実行
  110. set シェルオプションと位置パラメータの操作
  111. unset 変数・関数の削除
  112. printf C 風書式付き出力
  113. systemctl systemd ユニットの管理
  114. service init.d 互換のサービス管理
  115. journalctl systemd ジャーナルログの参照
  116. crontab 定期実行ジョブの登録・編集
  117. at 指定時刻に 1 回だけコマンド実行
  118. umount ファイルシステムのアンマウント
  119. reboot システムを再起動
  120. halt システムを停止
  121. date 日付・時刻の表示と設定
  122. hostname ホスト名の表示・設定
  123. gzip ファイルを Deflate で圧縮
  124. gunzip gzip 圧縮ファイルの展開
  125. bzip2 高圧縮率の圧縮コマンド
  126. xz LZMA2 ベースの高圧縮コマンド
  127. zstd Facebook 製の高速圧縮コマンド
  128. dpkg Debian パッケージの低レベル操作
  129. rpm Red Hat パッケージの低レベル操作
  130. snap Canonical の sandbox パッケージマネージャ
  131. apt Debian/Ubuntu の高レベルパッケージマネージャ
  132. 7z 7-Zip コマンドラインツール
2026-06-22 08:51:26 atom 2

人気ページ

最近更新/作成されたページ