LinuxでWebサイトの全ページをダウンロードする方法

Wgetは、Webサイトからコンテンツをダウンロードするために使用できる、Linux上の強力なオープンソースソフトウェアです。 場合によっては、Webサイト上のすべてのコンテンツのコピーを作成する必要があります。おそらく、サイトのミラーを作成したり、後で使用するために現在のコンテンツを保存したりすることです。 Wgetを使えば、Webサイト全体を1行のコマンドでダウンロードできます。

1。

whichコマンドを使用して、wgetがインストールされていることを確認してください。 ターミナルで "which wget"と入力すると、WgetがLinuxコンピュータにインストールされている場所が表示されます。 Wgetがインストールされていない場合は、YumやApt-getなどのディストリビューションのソフトウェアインストールツールを使用してWgetをインストールしてください。

2。

Webサイトを反映するようにフラグを設定します。 Wgetには、プログラムの動作を変更するために設定できる複数のフラグがあります。 "-m"フラグはWebサイト全体をダウンロードするために使用されます。 たとえば、次のように入力します。

wget -m www.fake-web-site.com

これにより、コンピュータ上に "www.fake-web-site.com"のローカルコピーが作成されます。 デフォルトでは、Wgetはそれが実行されたディレクトリの中にWebサイトと同じ名前のディレクトリを作成します。

3。

ブラウザでページのローカルコピーを開いてコンテンツが取得されたことを確認します。

必要なもの

• wget

警告

• Wgetは、サーバーからコンテンツを要求するときにかなりの量の帯域幅を消費する可能性があります。 また、ファイアウォールによっては、単一のクライアントからの迅速な要求を攻撃として解釈する可能性があり、その結果、IPアドレスが一時的にサーバーからブロックされる可能性があります。 要求間の時間を制限するために-wフラグが設定されていることを確認してください。 例えば：
• wget -m -w 10 www.fake-web-site.com
• Wgetは10秒間待機してからサーバーに次のファイルを要求します。