Jak korzystać z Wget, aby pobrać wszystko z Internetu

2019

Wget to narzędzie wiersza poleceń, którego można użyć do pobrania niemal wszystkiego, co jest dostępne w Internecie. Połów jest taki, że powinien być dostępny za pośrednictwem protokołów HTTP, HTTPS lub FTP; inaczej Wget nie będzie w stanie go pobrać. Istnieje wiele sposobów wykorzystania Wget, na przykład możesz użyć Wget do pobrania każdego obrazu ze strony internetowej lub możesz pobrać pojedynczy plik. Wget jest w stanie wznowić pobieranie, jeśli to możliwe. Tak więc, jeśli zastanawiasz się, jak działa Wget i co może zrobić dla ciebie, oto jak używać Wget :

Instalowanie Wget

1. Instalacja Wget na macOS Sierra

Zanim zaczniemy korzystać z Wget, będziemy musieli zainstalować go w naszym systemie. Na szczęście większość dystrybucji Linuksa jest fabrycznie zainstalowana z Wget, więc nie będziesz musiał wykonywać żadnej dodatkowej pracy. Jeśli jednak używasz komputera Mac, musisz zainstalować Wget. Można to zrobić łatwo za pomocą Homebrew (pobierz). Jeśli potrzebujesz pomocy, oto kroki, które musisz wykonać:

Najpierw musisz zainstalować Homebrew na Macu, aby móc pobrać Wget. Aby to zrobić, po prostu uruchom Terminal i wpisz następujące polecenie:

 / usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Po wykonaniu polecenia Homebrew zostanie zainstalowany w twoim systemie. Możesz teraz użyć Homebrew do instalacji pakietów, takich jak Wget. W terminalu uruchom następujące polecenie:

 napar zainstalować wget

Homebrew automatycznie zacznie pobierać, rozpakowywać i instalować Wget w twoim systemie. Ten krok może trochę potrwać, w zależności od szybkości twojej sieci, więc bądź cierpliwy. Po zakończeniu polecenia powinieneś móc używać Wget na Macu. Aby sprawdzić, czy został zainstalowany, wystarczy użyć polecenia:

 wget -V

2. Instalowanie Wget w systemie Windows

Instalacja Wget na Windowsie wymaga trochę więcej wysiłku, ale można to łatwo zrobić. Jeśli chcesz zainstalować Wget na swoim komputerze z Windows, wykonaj następujące czynności:

Najpierw pobierz Cygwin, a następnie uruchom pobrany plik instalacyjny .

Gdy prosi o domyślne źródło pobierania, wybierz opcję " Zainstaluj z Internetu " i kliknij "Dalej".

Wybierz katalog instalacyjny dla Cygwin, a także katalog, w którym będzie zapisywać pliki pakietów do instalacji narzędzi.

Na następnym ekranie musisz wybrać swoje połączenie internetowe. Jeśli używasz Proxy, wybierz typ Proxy i uzupełnij dane. Jednak dla większości użytkowników wybór byłby " Bezpośrednie połączenie ".

Zostanie wyświetlona lista serwerów lustrzanych, wybierz jedną z nich, aby pobrać Cygwin. Jeśli pobieranie się nie powiedzie, możesz spróbować ponownie przy użyciu innego lustra.

W następnym oknie wyszukaj "wget" i kliknij plus obok "web" na liście, która się pojawi. Tutaj pole wyboru obok " wget " zostanie wybrane automatycznie. Po prostu kliknij "Dalej".

Następny ekran pokaże pakiety, które musi pobrać. Po prostu kliknij "Dalej".

Po zakończeniu instalacji pojawi się pytanie, czy chcesz utworzyć ikonę na pulpicie i / lub dodać wpis do menu startowego . Jest to całkowicie kwestia osobistych preferencji, ale proponuję przynajmniej dodać go do menu startowego, aby można go było łatwo znaleźć.

to jest to! Wget jest teraz zainstalowany na twoim komputerze z Windows. Jednak nie będzie można uruchomić go z wiersza polecenia. Zamiast tego musisz uruchomić terminal Cygwin i użyć tam narzędzia Wget .

Jak korzystać z Wget

Po uruchomieniu Wget w naszym systemie, poznajmy wszystkie fajne sposoby, w jakie możemy używać Wget do pobierania plików, folderów, a nawet całych stron z Internetu. Oto kilka interesujących rzeczy, które możesz zrobić z Wgetem w swoim systemie.

Uwaga : Używam Wget na MacBooku Air z systemem macOS Sierra 10.12.3 beta. Ponieważ jednak narzędzie, z którego korzystamy, jest takie samo (Wget), polecenia będą takie same w każdym systemie operacyjnym, na którym możesz używać Wget.

1. Użyj Wget do pobrania plików

Możesz użyć Wget do łatwego pobierania plików z Internetu. Wystarczy użyć następującego polecenia

 wget

Pobierz plik i zapisz go pod konkretną nazwą pliku

Pliki na serwerach mają czasem najdziwniejsze nazwy i możesz chcieć pobrać plik, a Wget automatycznie zmienić jego nazwę na coś, co ma dla ciebie większy sens. Aby to zrobić, użyj następującego polecenia

 wget -o

Pobierz Tylko określone typy plików

Serwer WWW może zawierać wiele różnych plików. A co jeśli chcesz tylko pobrać wszystkie pliki PDF na serwer lub wszystkie GIF? Po prostu użyj następującego polecenia:

 wget -r -A pdf

To polecenie zostało użyte przez Marka Zuckerberga w jego pokoju akademika Harvarda, aby pobrać wszystkie obrazy za pomocą jednego polecenia i zbudować niesławną stronę "facesmash.com".

 wget -r -A jpg, jpeg, png, bmp

2. Pobierz pliki z wielu adresów URL za pomocą Wget

Załóżmy, że musisz pobierać pliki z wielu różnych lokalizacji w Internecie. Może istnieć plik PDF na url1, ważny plik ZIP na url2 i coś jeszcze w url3 . Jeśli używałeś Wget w tradycyjny sposób, będziesz musiał uruchomić go trzy razy. Istnieje jednak o wiele prostszy sposób na zrobienie tego.

Najpierw utwórz plik zawierający wszystkie adresy URL, z których pobierasz dane. Upewnij się, że każdy adres URL znajduje się we własnym wierszu . Zapisz plik i upewnij się, że pamiętasz jego nazwę.

W programie Terminal użyj następującego polecenia, aby pobrać pliki ze wszystkich adresów URL:

 wget -i

gdzie " nazwa_pliku " jest nazwą utworzonego pliku zawierającego wszystkie adresy URL, z których trzeba pobierać pliki.

3. Pobierz całą witrynę za pomocą Wget

Tak, dobrze to przeczytałeś. Możesz również użyć Wget do pobrania zawartości całej witryny. Oczywiście, jeśli strona jest zbyt duża, wykonanie tego polecenia zajmie dużo czasu, nie mówiąc już o tym, że zajmie dużo miejsca w twoim systemie. Mimo to, jeśli chcesz użyć Wget do pobrania całej witryny, użyj następującego polecenia:

 wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL

Spowoduje to pobranie całej witryny internetowej do folderu " LOCAL-DIR " w katalogu roboczym. Pliki z witryny będą przechowywane w folderze o tej samej nazwie co strona internetowa, dzięki " URL-owi WEBSITE ".

4. Użyj Wget jako Web Spider

Możesz także sprawić, by Wget działał jak robot sieciowy (lub pająk sieciowy). Jest to przydatne, gdy chcesz potwierdzić, że adres URL pliku, który chcesz pobrać, jest prawidłowy . Aby użyć Wget jako pajęczyny internetowej i sprawdzić poprawność adresów URL, po prostu użyj następującego polecenia:

 wget --spider

Spowoduje to sprawdzenie, czy podany adres URL istnieje, a otrzymasz odpowiedź informującą o wynikach czeku.

Pozytywna odpowiedź:

Odpowiedź negatywna:

5. Kontynuuj pobieranie niekompletne

To kolejna naprawdę fajna rzecz, którą może zrobić Wget. Powiedzmy, że pobierasz plik za pomocą Wget, ale z jakiegoś powodu musisz zamknąć laptopa. Gdy następnym razem będziesz chciał pobrać ten sam plik, Wget może kontynuować pobieranie . Musisz tylko upewnić się, że znajdujesz się w tym samym folderze, do którego pobierasz plik po raz ostatni, a następnie użyć następującego polecenia:

 wget -c

Kiedy Wget widzi, że część pliku jest już obecna w twoim systemie, automatycznie kontynuuje pobieranie.

Uwaga : Jeśli plik na serwerze został zmieniony od czasu ostatniej próby jego pobrania, nie powinieneś używać tego polecenia, ponieważ spowoduje to uszkodzenie pliku, którego nie będziesz mógł odczytać.

Ponadto, jeśli serwer nie zezwoli na dalsze pobieranie, Wget odmówi rozpoczęcia pobierania od zera. Jeśli chcesz rozpocząć pobieranie od zera, najpierw musisz usunąć częściowo pobrany plik z systemu .

Istnieje kilka dodatkowych warunków korzystania z tego argumentu i możesz przeczytać więcej na jego temat na stronie man Wget.

6. Ogranicz prędkość pobierania

Jeśli używasz Wget do pobierania plików i przeglądania Internetu obok niego, prawdopodobnie nie chcesz, aby cała twoja przepustowość była zużyta przez Wget. Na szczęście Wget zawiera argument, którego można użyć do ograniczenia przepustowości, którą Wget może wykorzystać do pobierania plików w systemie:

 wget --limit-rate =

Uwaga : Należy pamiętać, że prędkość jest wymieniona w bajtach, a nie w bitach. Tak więc, jeśli użyjesz Wget -limit-rate = 20k, ograniczy to wykorzystanie przepustowości do 20 kB, a nie do 20 kb.

7. Użyj Wget do pobrania plików z serwerów FTP

Jeśli chcesz pobrać plik z serwera FTP, możesz to zrobić również za pomocą Wget. Po prostu użyj następującego polecenia, aby pobrać pliki z serwerów FTP:

 wget

Pobierz pliki z serwerów FTP za pomocą Login

JEŚLI twój serwer FTP wymaga logowania, aby zezwolić na pobieranie plików, możesz po prostu przekazać te dane także Wget. Po prostu użyj następującego polecenia:

 wget --ftp-username = USERNAME --ftp-password = PASSWORD

Z łatwością używaj Wget do pobierania plików z Internetu

Możesz użyć Wget do pobierania plików z dowolnego miejsca w Internecie. Jednak, mimo że Wget prawie zawsze działa, istnieją pewne serwery, które uniemożliwiają dostęp do Wget, w takim przypadku możesz spróbować zmienić -user-agent dla polecenia Wget. Jednak nie jest to zalecany sposób działania, chyba że absolutnie wiesz, co robisz. W większości przypadków Wget umożliwia pobranie dowolnego pliku z Internetu, pod warunkiem, że masz do niego dostęp i jego adres URL.

Czy kiedykolwiek używałeś Wget do pobierania plików z Internetu? Poinformuj nas o swoich doświadczeniach związanych z korzystaniem z Wget do pobierania plików za pośrednictwem protokołów HTTP, HTTPS i FTP. Ponadto, jeśli znasz inne zastosowania Wget, które według Ciebie zasługują na tę listę, poinformuj nas o tym w sekcji komentarzy poniżej.