Contenu | Rechercher | Menus

Annonce

Ubuntu-fr.org recrute toujours de nouveaux modérateurs, avec de l'expérience.

Ubuntu 16.04 LTS
Réservez vos DVD et clé USB Ubuntu-fr (premières livraisons mi-mai)

Si vous avez des soucis pour rester connecté, déconnectez vous et reconnectez vous depuis ce lien en cochant le case
Me connecter automatiquement lors de mes prochaines visites.

M.A.J. en cours du forum possibilité de bug, nous faisons le maximum pour les résoudre au plus vite

#1 Le 03/02/2010, à 13:32

wido

[Wget] download.php (résolu)

Bonjour,
je désirerais absorber ce site: http://q3a.ath.cx/ avec wget
il contient beaucoup de map (quake,nexuiz,openarena,...) au format pk3

mais le souci c'est que si je lance:

wget -r -linf -k -p -E http://q3a.ath.cx/
wget -r -linf -k -p -E http://q3a.ath.cx/download.php
wget -r -np http://q3a.ath.cx/
wget http://q3a.ath.cx/download.php/*.pk3
wget -r -l5 -k -nc http://q3a.ath.cx/download.php/
wget -r -l5 -k -nc -E -A .pk3 http://q3a.ath.cx/

j'obtiens que deux fichiers robots.txt et l'index
si quelqu'un a une idée?

Dernière modification par wido (Le 04/02/2010, à 15:51)

Hors ligne

#2 Le 03/02/2010, à 18:48

sputnick

Re : [Wget] download.php (résolu)

Salut,

c'est un fichier qui est là justement pour empêcher que des personnes n'aspirent un site.
Donc, s'il le placent, c'est leur droits, ça peux souvent être aussi une manière de se prémunir contre la vampirisation des processus apache. En effet, ce n'est pas anodin d'aspirer un site, en face le pauvre serveur apache qui était peux être déjà au taquet va réclamer des nouveaux threads et allouer de la RAM sur le serveur ( ça dépends aussi de sa conf... ).
Si pour une raison X tu souhaite malgré tout poursuivre, tu doit changer le "user agent" de ton navigateur.

++


bashfr.org(random);
<arciks1994> dou tu connai qel age j'ai ?

Hors ligne

#3 Le 04/02/2010, à 13:54

xamaco

Re : [Wget] download.php (résolu)

Voir (en anglais) :
http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html#Robot-Exclusion

Hors ligne

#4 Le 04/02/2010, à 15:50

wido

Re : [Wget] download.php (résolu)

je vous remercie xamaco et sputnick, la commande fonctionne:

wget -e robots=off -r -linf -k -p -E http://q3a.ath.cx/

PS: Ajout du paramètre -e robots=off
comme j'ai déjà pas mal de maps c'est pour compléter mon dossier ça m'évite de les retélécharger ultérieurement.

Dernière modification par wido (Le 04/02/2010, à 15:50)

Hors ligne