4.

wget コマンド完全ガイド — URL 指定/再帰/レジューム/認証/curl との違い

編集
この記事の要点
  • wget URL で HTTP/HTTPS/FTP からファイルダウンロード。スクリプト向きの非対話 CLI
  • 保存名を変える -O ファイル名、レジューム -c、再帰ミラー -r --no-parent
  • 帯域制限 --limit-rate=1m、サイレント -q、Basic 認証 --user= --password=、カスタムヘッダ --header=
  • curl との違い: wget はファイル取得・ミラー専用、curl はHTTP リクエスト全般。両者は補完関係
  • Windows では PowerShell の Invoke-WebRequest がエイリアス wget として使える / Git Bash 同梱版もアリ

基本: URL を指定してダウンロード

wget は GNU プロジェクトのファイルダウンローダで、HTTP / HTTPS / FTP に対応。バックグラウンドでの大量ダウンロードや、サイト全体のミラーリングを行うのに使います。

# 基本: URL のファイルをカレントディレクトリに保存
wget https://example.com/foo.zip
# → ./foo.zip が保存される

# 保存名を変える
wget -O myfile.zip https://example.com/foo.zip

# 標準出力に書き出してパイプ
wget -O- https://example.com/archive.tar.gz | tar -xzf -

# ディレクトリ指定
wget -P /tmp/ https://example.com/foo.zip
# → /tmp/foo.zip

主要オプション一覧

オプション意味
-O FILE保存ファイル名指定wget -O a.zip URL
-P DIR保存ディレクトリ指定wget -P /tmp URL
-cレジューム(途中から再開)wget -c URL
-qquiet (出力抑制)cron 等で多用
-vverboseデバッグ用
-bバックグラウンド実行wget-log に出力
-r再帰ダウンロードミラー時必須
--no-parent親ディレクトリ取得しない再帰時の暴走防止
-Nタイムスタンプ比較(新しいときだけ)差分同期
--limit-rate=N帯域制限--limit-rate=1m
-t Nリトライ回数(既定 20)-t 0 で無限
--timeout=Nタイムアウト(秒)--timeout=30
--user-agent=UA 偽装サーバ判定回避用
--header=任意ヘッダ追加下記参照
--no-check-certificateSSL 検証無効(非推奨)自己署名証明書

レジューム: 巨大ファイルが途中で切れたとき

# 途中で切れた 5GB のファイル
wget https://example.com/big.iso
# Ctrl+C や回線断で中断
ls -la big.iso
# -rw-r--r-- 1 user user 2147483648 May 10 10:00 big.iso   ← 2GB で止まった

# -c で続きから
wget -c https://example.com/big.iso
# HTTP/1.1 206 Partial Content
# Length: 5368709120 (5.0G), 3221225472 (3.0G) remaining ...

# サーバが Range リクエスト未対応の場合は最初からやり直し

サイト丸ごとミラー(再帰ダウンロード)

# 配下を全部取得(深さ無制限)
wget -r --no-parent https://example.com/docs/

# よく使う安全な組み合わせ
wget --mirror --convert-links --adjust-extension --page-requisites \
     --no-parent https://example.com/docs/

# 各オプション:
#   --mirror           : -r -N -l inf --no-remove-listing と同等
#   --convert-links    : ローカルで開けるようリンク書き換え
#   --adjust-extension : .html を追加
#   --page-requisites  : 画像・CSS・JS も取得
#   -l 2               : 深さ 2 階層まで
#   -A "*.pdf"         : PDF だけ
#   -R "*.gif"         : GIF 除外

認証付きダウンロード

# Basic 認証
wget --user=admin --password=secret https://example.com/private/file.zip

# .netrc を使えばパスワードを履歴に残さない
cat > ~/.netrc <<EOF
machine example.com
login admin
password secret
EOF
chmod 600 ~/.netrc
wget https://example.com/private/file.zip

# Bearer トークン (REST API)
wget --header="Authorization: Bearer eyJhbGc..." \
     https://api.example.com/v1/data

# 任意のヘッダ複数指定
wget --header="X-Api-Key: abc123" \
     --header="Accept: application/json" \
     https://api.example.com/data

POST / Cookie / フォーム送信

# POST データ
wget --post-data="name=taro&age=20" https://example.com/api/save

# JSON POST
wget --header="Content-Type: application/json" \
     --post-data='{"name":"taro"}' \
     https://example.com/api/save

# Cookie を読み書き
wget --save-cookies cookies.txt --keep-session-cookies \
     --post-data="user=foo&pass=bar" \
     https://example.com/login

wget --load-cookies cookies.txt https://example.com/dashboard

curl との使い分け

用途推奨備考
ファイルを保存wgetデフォルトでファイル保存
サイト全体ミラーwgetcurl にはこの機能無し
レジュームwget / curl 両対応wget の -c が楽
REST API 叩くcurl豊富なメソッド/ヘッダ操作
HTTP デバッグcurl -vレスポンスヘッダ確認
標準出力に流すcurl(デフォルト)/ wget -O-パイプ用途
大量並列aria2c分割ダウンロード対応

スクリプタブルなバックアップ例

#!/bin/bash
# 毎日 cron で実行する DB バックアップ取得
set -euo pipefail

DATE=$(date +%Y%m%d)
DST=/backup/db
URL="https://backup.example.com/db/dump-${DATE}.sql.gz"

mkdir -p "$DST"

wget -q -c \
     --timeout=60 \
     --tries=3 \
     --header="X-Api-Key: ${BACKUP_KEY}" \
     -O "$DST/dump-${DATE}.sql.gz" \
     "$URL"

# 検証 (gzip が壊れていないか)
gzip -t "$DST/dump-${DATE}.sql.gz" || {
    echo "Broken gzip" >&2
    exit 1
}

# 古いものを削除
find "$DST" -name "dump-*.sql.gz" -mtime +30 -delete

Windows での wget

# 方法1: PowerShell 標準
Invoke-WebRequest -Uri "https://example.com/foo.zip" -OutFile "foo.zip"
# エイリアスで wget も使える(PowerShell 5+)
wget https://example.com/foo.zip -OutFile foo.zip

# 方法2: Git Bash / WSL 同梱の wget
wget https://example.com/foo.zip

# 方法3: 公式 wget for Windows
# https://eternallybored.org/misc/wget/ からダウンロード
# C:\Windows\System32 に置けば cmd / PowerShell から使える

# 方法4: scoop / chocolatey
scoop install wget
choco install wget

よくあるトラブル

症状原因対処
403 ForbiddenUA 判定でブロック--user-agent="Mozilla/5.0"
certificate verification failed自己署名 / 期限切れ正しい証明書を入れる / 緊急時 --no-check-certificate
ファイル名が変リダイレクト後の URL から付与--content-disposition or -O
HTML だけ取得されるJavaScript で動的生成wget では不可。Playwright/Selenium 等
すごく遅いサーバ側帯域 / プロキシhttp_proxy 環境変数確認

FAQ

Q: 並列ダウンロードしたい
A: wget 単体では困難。aria2c -x 8 URL が分割並列ダウンロード対応で高速です。

Q: 認証情報がプロセスリストに見えてしまう
A: --user= はコマンドライン引数なので ps で見えます。~/.netrc 経由を推奨。

Q: 再帰の暴走を防ぎたい
A: 必ず --no-parent-l N(深さ)を併用。--reject-regex で URL パターン除外も可能。

編集
Post Share
子ページ

子ページはありません

同階層のページ
  1. ls ファイル/ディレクトリ一覧表示
  2. sudo ユーザー指定
  3. cron/crontab ジョブの自動実行と登録方法
  4. wget http通信によるファイルダウンロード
  5. rm ファイル/ディレクトリ削除
  6. pwd カレントディレクトリの表示
  7. cd ディレクトリの移動
  8. ./configure
  9. make
  10. make install
  11. unzip ファイルの解凍
  12. mv ファイル/ディレクトリの移動および名称変更
  13. mkdir ディレクトリの作成
  14. touch 空ファイルの新規作成
  15. vi テキストディタの使用
  16. find ファイル/ディレクトリ検索
  17. grep 文字列の検索
  18. tail ファイルの末尾表示
  19. curl HTTP通信によるリクエスト
  20. nslookup ドメインのIP解決
  21. apt update パッケージリストの情報を更新
  22. apt upgrade パッケージの更新
  23. ln リンク/ショートカットの作成と削除
  24. rsync ファイル/ディレクトリの同期
  25. ssh リモートとの暗号化通信
  26. scp sshを利用したファイルのコピー
  27. unzip zip ファイルを解凍する
  28. cp ファイル/ディレクトリのコピー
  29. diffファイルの差分抽出
  30. fdisk ハードディスクに対する操作
  31. lsblk デバイスをツリー状で表示する
  32. kill プロセスを終了させる
  33. zip ファイルやディレクトリをzip形式に圧縮する
  34. hostコマンド
  35. chmod 権限の変更
  36. ip IPアドレスの確認
  37. chown コマンド(所有者の変更)
  38. chgrp ファイル/ディレクトリのグループ情報の変更
  39. nohupと'&' プログラムのバックグラウンド実行(ssh接続時)
  40. lsof 開いているポート番号の確認
  41. tar ファイルの圧縮と解凍
  42. file ファイルの種類を表示
  43. cat ファイルの中身を表示
  44. head ファイルの先頭部分を表示
  45. wc 行数/単語数/文字数を確認
  46. shutdown システムのシャットダウンと再起動
  47. ps プロセスの確認
  48. which コマンドの絶対パスを調べる
  49. yum RedHat系ディストリビューションの管理
  50. mount ファイルシステムのマウント
  51. 特定フォルダ以下の特定拡張子のファイルを再帰的に削除する方法
  52. 特定のフォルダとそのサブフォルダ内にある特定のファイル名のファイルを再帰的に削除
  53. sed テキスト処理用ストリームエディタ
  54. awk フィールド単位の柔軟なテキスト処理
  55. sort 行の並び替え
  56. uniq 重複行の除去・カウント
  57. cut 行から特定列を切り出し
  58. tr 文字の置換・削除
  59. less ページャでファイルを読む
  60. more 古典ページャ
  61. xargs 標準入力をコマンド引数に変換
  62. paste 複数ファイルを列方向に結合
  63. top プロセスの動的監視
  64. htop 強化版インタラクティブプロセス監視
  65. nice プロセスの優先度を指定して起動
  66. renice 実行中プロセスの優先度を変更
  67. jobs シェル管理下のジョブ一覧
  68. bg ジョブをバックグラウンドで実行
  69. fg バックグラウンドジョブをフォアグラウンドに
  70. killall プロセス名でまとめて終了
  71. pgrep プロセス名から PID を検索
  72. pkill プロセス名でシグナルを送信
  73. uname システム情報の表示
  74. uptime システム稼働時間とロードアベレージ
  75. free メモリ使用状況の表示
  76. df ディスク使用量 (ファイルシステム単位)
  77. du ディレクトリ・ファイル単位の使用量
  78. lscpu CPU 情報の表示
  79. lsmod 読み込み済みカーネルモジュール一覧
  80. lspci PCI デバイス一覧
  81. dmesg カーネルリングバッファの表示
  82. w ログイン中ユーザーと負荷の表示
  83. ping ホストへの到達性とラウンドトリップ確認
  84. traceroute ホストまでの経路を表示
  85. netstat ネットワーク接続・ルーティング表示 (旧式)
  86. ss netstat 後継、ソケット統計
  87. ifconfig ネットワークインターフェース表示・設定 (旧式)
  88. dig DNS リゾルバ問い合わせの定番
  89. route ルーティングテーブル表示 (旧式)
  90. iptables Linux パケットフィルタリング
  91. telnet TCP 接続診断・古典的リモートログイン
  92. arp ARP テーブルの表示・編集 (旧式)
  93. useradd ユーザーアカウントの作成
  94. usermod 既存ユーザーアカウントの変更
  95. userdel ユーザーアカウントの削除
  96. passwd パスワードの変更・管理
  97. groupadd グループの追加
  98. id ユーザーとグループの ID・所属を表示
  99. whoami 現在のユーザー名を表示
  100. su 別ユーザーに切り替え
  101. dnf Red Hat 系の次世代パッケージマネージャ (yum 後継)
  102. pacman Arch Linux のパッケージマネージャ
  103. echo 文字列・変数の出力
  104. export 環境変数の設定と継承
  105. alias コマンドの別名定義
  106. source / . スクリプトをカレントシェルで実行
  107. history コマンド履歴の表示・操作
  108. type コマンドの種別 (組み込み/関数/エイリアス/外部) を表示
  109. env 環境変数表示と一時設定でコマンド実行
  110. set シェルオプションと位置パラメータの操作
  111. unset 変数・関数の削除
  112. printf C 風書式付き出力
  113. systemctl systemd ユニットの管理
  114. service init.d 互換のサービス管理
  115. journalctl systemd ジャーナルログの参照
  116. crontab 定期実行ジョブの登録・編集
  117. at 指定時刻に 1 回だけコマンド実行
  118. umount ファイルシステムのアンマウント
  119. reboot システムを再起動
  120. halt システムを停止
  121. date 日付・時刻の表示と設定
  122. hostname ホスト名の表示・設定
  123. gzip ファイルを Deflate で圧縮
  124. gunzip gzip 圧縮ファイルの展開
  125. bzip2 高圧縮率の圧縮コマンド
  126. xz LZMA2 ベースの高圧縮コマンド
  127. zstd Facebook 製の高速圧縮コマンド
  128. dpkg Debian パッケージの低レベル操作
  129. rpm Red Hat パッケージの低レベル操作
  130. snap Canonical の sandbox パッケージマネージャ
  131. apt Debian/Ubuntu の高レベルパッケージマネージャ
  132. 7z 7-Zip コマンドラインツール

最近更新/作成されたページ