Bajarse una web entera

Bajarse una web entera

Comandos
Bajarse una web entera con linux es muy sencillo.Simplemente has de abrir una consola y escribir wget -r paginaweb.Por ejemplo para bajarse esta web,seria:
wget -r -k http://tuxhuellas.bitacoras.com/

tb puedes poner a bajar varias web a la vez.Para ello escribe las direcciones en un fichero de texto (xejemplo:websadercargar.txt)y luego ejecuta el comando asi:
wget -r -i webadescargas.txt

Facil,no?pues a probarlo ;)


wget
—-
Gestor de descargas (si pide autorizacion–http-user –http-passwd), s –mirror, -X para excluir las sources, -l solo entra en los links locales, cosa muy util.

Para descargar un fichero indefinido de veces (-t 0),retomando la descarga en la proxima ejecucion si se corta la conexion o se para el programa (-c), identificandose como un navegador web normal para evitar ser detectado por servidores (-U “Mozilla”) y no identificandose como un robot para tener acceso completo
a las paginas (-erobot=off), auque algunas estan protegidas contra descargas abusibas.

wget -t 0 -c -U “Mozilla” http://www.playboy.com/virus.zip

Para descargar completamente una pagina (-r) y convertir los enlaces para verla localmente (-k):
wget -t 0 -c -U “Mozilla” -erobot=off -r -k http://xxx.unizar.es

Para descargar la lista de enlaces de un fichero urls.txt:
wget -i urls.txt

Para aceptar solamente los ficheros JPG y MPG (-A *.jpg,*.mpg):
wget -t 0 -c -U “Mozilla” -erobot=off -r -k -A *.wmv,*.mpg,*.avi,*.mpeg http://www.fotos_y_videos_guarros.es

Bajar el directorio completo:
wget -r -A=.html,.deb -nc -np http://www.debian.org/~jules/gnome-stage-2/dists/

NOTA: Si bajas una serie de archivos html que en su contenido incluyen vinculos a otras paginas html, el WGET cambia las url’s y las adapta a tu maquina local, de manera que puedes navegar en los archivos que bajaste y en sus vinculos sin necesidad de estar conectado a la WEB.

/////////////////////////////////////////////////

Un saludo

http://www.tuxhuellas.com/2006/03/07/bajarse-una-web-entera/