#1 Le 03/02/2010, à 13:32
- wido
[Wget] download.php (résolu)
Bonjour,
je désirerais absorber ce site: http://q3a.ath.cx/ avec wget
il contient beaucoup de map (quake,nexuiz,openarena,...) au format pk3
mais le souci c'est que si je lance:
wget -r -linf -k -p -E http://q3a.ath.cx/
wget -r -linf -k -p -E http://q3a.ath.cx/download.php
wget -r -np http://q3a.ath.cx/
wget http://q3a.ath.cx/download.php/*.pk3
wget -r -l5 -k -nc http://q3a.ath.cx/download.php/
wget -r -l5 -k -nc -E -A .pk3 http://q3a.ath.cx/j'obtiens que deux fichiers robots.txt et l'index
si quelqu'un a une idée?
Dernière modification par wido (Le 04/02/2010, à 15:51)
Hors ligne
#2 Le 03/02/2010, à 18:48
- sputnick
Re : [Wget] download.php (résolu)
Salut,
c'est un fichier qui est là justement pour empêcher que des personnes n'aspirent un site.
Donc, s'il le placent, c'est leur droits, ça peux souvent être aussi une manière de se prémunir contre la vampirisation des processus apache. En effet, ce n'est pas anodin d'aspirer un site, en face le pauvre serveur apache qui était peux être déjà au taquet va réclamer des nouveaux threads et allouer de la RAM sur le serveur ( ça dépends aussi de sa conf... ).
Si pour une raison X tu souhaite malgré tout poursuivre, tu doit changer le "user agent" de ton navigateur.
++
On ne peut pas mettre d'array dans un string!
https://sputnick.fr/
Hors ligne
#3 Le 04/02/2010, à 13:54
- xamaco
Re : [Wget] download.php (résolu)
Voir (en anglais) :
http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html#Robot-Exclusion
Hors ligne
#4 Le 04/02/2010, à 15:50
- wido
Re : [Wget] download.php (résolu)
je vous remercie xamaco et sputnick, la commande fonctionne:
wget -e robots=off -r -linf -k -p -E http://q3a.ath.cx/PS: Ajout du paramètre -e robots=off
comme j'ai déjà pas mal de maps c'est pour compléter mon dossier ça m'évite de les retélécharger ultérieurement.
Dernière modification par wido (Le 04/02/2010, à 15:50)
Hors ligne