Hvordan du bruker wget med proxy

GNU WGET er et kommandolinjeverktøy for å laste ned filer på en ikke-interaktiv måte. Det er ikke-interaktivt fordi den kan utføre i bakgrunnen når brukeren ikke er logget på. Dette er stor fleksibilitet med WGET ettersom de fleste nettlesere krever at brukeren blir logget inn mens enhver oppgave pågår. Det kan fungere med HTTP, HTTPS og FTP -protokoller og støtter også nedlasting av filer via HTTP -fullmakter.

WGET -kommandoen ligner på Curl -kommandoen og kan installeres på Linux/Unix, Mac OS, Windows. Hvis en nedlastingsoppgave sitter fast i Midway, kan du gjenoppta den der den ble slått av.

Hva vil vi dekke?

Denne guiden vil utforske WGET -kommandoen og lære hvordan du bruker den med blekksprut proxy -serveren.

Bruke WGET -kommandoen for å laste ned en fil

WGET er et veldig rett frem verktøy. Når det brukes uten noe alternativ, vil WGET hente ressursene fra den spesifiserte URL -en og laste dem ned til den gjeldende arbeidskatalogen. Som et eksempel, se på eksemplet nedenfor:

$ wget https: // tldp.org/ldp/intro-linux/intro-linux.PDF

Ovennevnte fil lastes ned til katalogen der WGET -kommandoen ble brukt.

Sette proxy for WGET

La oss nå henvende oss til hovedemnet vårt i dag: Konfigurer Wget med proxy. En proxy -server har mange fordeler, hvorav sikkerhet er den største bekymringen. I denne guiden bruker vi Squid Proxy Server, som allerede er konfigurert for nettverket vårt. Her er konfigurasjonen av blekksprut i vårt tilfelle, endre den for å passe dine behov:

Trinn 1. Vi har installert blekksprut på Kali Linux -maskinen vår med IP 192.168.186.161. Hvis du ikke har installert blekksprut ennå, kan du gjøre det ved å kjøre kommandoen:

$ sudo apt installer blekksprut

Steg 2. Forsikre deg om at blekksprut kjører med kommandoen:

$ sudo systemctl status blekksprut

Trinn 3. Endre nå konfigurasjonen av blekksprut i henhold til nettverket ditt. Vi har satt blekksprut for å la enheter i nettverket vårt bruke blekksprut. For dette kan du ganske enkelt åpne konfigurasjonsfilen:

$ sudo nano/etc/blekksprut/blekksprut.konf

og legg til en linje 'ACL Localnet Src' Sammen med IP- eller nettverksadressen vil du gi tilgang til. Her på bildet nedenfor kan du se at vi har tillatt nettverket vårt 192.168.186.1/24

Finn og sett også “Http_access” til "tillat alle" som vist under:

Til slutt, start blekksprutserveren med:

$ sudo SystemCTL omstart blekksprut

OK, dette er nok for å konfigurere blekksprut. Vi vil nå gå videre til å konfigurere vår klient der vi skal kjøre 'WGET'.

Trinn 4. I dette trinnet begynner hovedarbeidet vårt for å konfigurere 'WGET'. Vi har valgt en annen maskin i nettverket vårt. Dette er vår Ubuntu 20.04 Maskin med IP 192.168.186.150. Åpne nå en terminal her og åpne WGET -konfigurasjonsfilen:

$ sudo nano /etc /wgetrc

Og finn de tre linjene:

#https_proxy = http: // proxy.Yoyodyne.com: 18023/
#http_proxy = http: // proxy.Yoyodyne.com: 18023/
#ftp_proxy = http: // proxy.Yoyodyne.com: 18023/

Trinn 5. Nå ukommsomme linjen du vil bruke til fullmektigen din. I vårt tilfelle bruker vi bare HTTPS -proxy, så vi vil konfigurere det med følgende format:

https_proxy = proxy_server_address: proxy_port

I vårt tilfelle ser det ut som:

https_proxy = http: // 192.168.186.161: 3128/

Trinn 6. Etter å ha endret WGETRC -filen, la oss gå videre for å sjekke om konfigurasjonen vår fungerer eller ikke. La oss igjen laste ned en fil ved hjelp av WGET:

$ wget https: // tldp.org/ldp/intro-linux/intro-linux.PDF

Denne gangen kan vi se at WGET bruker en proxy -tilkobling for å koble til serveren.

Sette proxy for WGET med blekksprutgodkjenning

I denne delen vil vi konfigurere WGET for å bruke blekksprutgodkjenning. Hvis vi ikke passerer legitimasjonen, vil WGET ikke laste ned ressursene. La oss gjøre det nå.

Trinn 1. Installer pakken nedenfor:

$ sudo apt install apache2-utils

Steg 2. Opprett en passwd -fil i katalogen '/etc/blekksprut/'

$ sudo touch/etc/blekksprut/passwd

Sett eierskapet til denne filen Squid User Proxy:

$ sudo chown proxy/etc/blekksprut/passwd

Trinn 3. Vi vil nå legge til en ny bruker, 'ny bruker' til blekksprut hvis legitimasjon vil bli brukt til autentisering:

$ sudo htpasswd/etc/blekksprut/passwd newuser

Kommandoen ovenfor vil be om å oppgi et passord for brukeren 'Newuser'.

Trinn 4. Åpne blekksprutkonfigurasjonsfilen:

$ sudo nano/etc/blekksprut/blekksprut.konf

Trinn 5. Søk nå etter linjen som inneholder strengen “Auth_Param Basic Program” og få det til å se ut nedenfor:

Auth_Param Basic Program/usr/lib/blekksprut/basic_ncsa_auth/etc/blekksprut/passwd
Auth_Param Basic Children 5
Auth_Param Basic Realm Squid Basic Autentisering
Auth_Param Basic CredentialSttl 2 timer
ACL Auth_Users proxy_auth kreves

Hvis du ikke finner noen av linjene, kan du bare legge dem til dem.

Trinn 6. Legg også til følgende linje:

http_access tillater authitersere

Og under linjen ovenfor, legg til eller endre "http_access tillater alle ”å“ http_access nekt alle ” som vist under:

Trinn 7. Til slutt, start blekkspruttjenesten: Start blekksprut:

$ sudo SystemCTL omstart blekksprut

Prøv nå først WGET uten brukeropplysning:

$ wget https: // tldp.org/ldp/intro-linux/intro-linux.PDF

Denne gangen gir det en autentisering nødvendig feil som: “Proxy Tunneling mislyktes: Proxy -autentisering som kreves for å etablere SSL -tilkobling.”

Kjør nå WGET -kommandoen med legitimasjonen til brukeren vi nettopp har lagt til i trinn 3:

$ WGET --PROXY-User = newuser-Proxy-Password = 123 https: // tldp.org/ldp/intro-linux/intro-linux.PDF

Fantastisk, denne gangen kjører WGET -kommandoen som en sjarm.

Mer å lære ..

Dette fullfører vår demonstrasjon av å sette Wget med og uten autentisert fullmakt. Håper du har lært for mange nye ting i denne opplæringen. En ting å være forsiktig med er at noen ganger kan konfigurasjonen av pakker variere for forskjellige distribusjoner. E.g., Blekksprut kan ha en litt annen konfigurasjonsfil på Kali Linux og Ubuntu. I slike tilfeller bør konfigurasjonsfilen endres med omhu.