Contenu | Rechercher | Menus

Annonce

Ubuntu-fr.org recrute toujours de nouveaux modérateurs, avec de l'expérience.

Ubuntu 16.04 LTS
Commandez vos DVD et clés USB Ubuntu-fr !

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

#1 Le 03/02/2010, à 13:32

wido

[Wget] download.php (résolu)

Bonjour,
je désirerais absorber ce site: http://q3a.ath.cx/ avec wget
il contient beaucoup de map (quake,nexuiz,openarena,...) au format pk3

mais le souci c'est que si je lance:

wget -r -linf -k -p -E http://q3a.ath.cx/
wget -r -linf -k -p -E http://q3a.ath.cx/download.php
wget -r -np http://q3a.ath.cx/
wget http://q3a.ath.cx/download.php/*.pk3
wget -r -l5 -k -nc http://q3a.ath.cx/download.php/
wget -r -l5 -k -nc -E -A .pk3 http://q3a.ath.cx/

j'obtiens que deux fichiers robots.txt et l'index
si quelqu'un a une idée?

Dernière modification par wido (Le 04/02/2010, à 15:51)

Hors ligne

#2 Le 03/02/2010, à 18:48

sputnick

Re : [Wget] download.php (résolu)

Salut,

c'est un fichier qui est là justement pour empêcher que des personnes n'aspirent un site.
Donc, s'il le placent, c'est leur droits, ça peux souvent être aussi une manière de se prémunir contre la vampirisation des processus apache. En effet, ce n'est pas anodin d'aspirer un site, en face le pauvre serveur apache qui était peux être déjà au taquet va réclamer des nouveaux threads et allouer de la RAM sur le serveur ( ça dépends aussi de sa conf... ).
Si pour une raison X tu souhaite malgré tout poursuivre, tu doit changer le "user agent" de ton navigateur.

++


bashfr.org(random);
<arciks1994> dou tu connai qel age j'ai ?

Hors ligne

#3 Le 04/02/2010, à 13:54

xamaco

Re : [Wget] download.php (résolu)

Voir (en anglais) :
http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html#Robot-Exclusion

Hors ligne

#4 Le 04/02/2010, à 15:50

wido

Re : [Wget] download.php (résolu)

je vous remercie xamaco et sputnick, la commande fonctionne:

wget -e robots=off -r -linf -k -p -E http://q3a.ath.cx/

PS: Ajout du paramètre -e robots=off
comme j'ai déjà pas mal de maps c'est pour compléter mon dossier ça m'évite de les retélécharger ultérieurement.

Dernière modification par wido (Le 04/02/2010, à 15:50)

Hors ligne