Contenu | Rechercher | Menus

Annonce

Si vous rencontrez des soucis à rester connecté sur le forum (ou si vous avez perdu votre mot de passe) déconnectez-vous et reconnectez-vous depuis cette page, en cochant la case "Me connecter automatiquement lors de mes prochaines visites".
Test de l'ISO d'Ubuntu francophone : nous avons besoin de testeurs pour la version francophone d'Ubuntu 14.04. Liens et informations ici.

Attention, une faille de sécurité dans bash a récemment été rapportée, il est recommandé de mettre à jour son système (plus de détails)

#1 Le 03/02/2010, à 13:32

wido

[Wget] download.php (résolu)

Bonjour,
je désirerais absorber ce site: http://q3a.ath.cx/ avec wget
il contient beaucoup de map (quake,nexuiz,openarena,...) au format pk3

mais le souci c'est que si je lance:

wget -r -linf -k -p -E http://q3a.ath.cx/
wget -r -linf -k -p -E http://q3a.ath.cx/download.php
wget -r -np http://q3a.ath.cx/
wget http://q3a.ath.cx/download.php/*.pk3
wget -r -l5 -k -nc http://q3a.ath.cx/download.php/
wget -r -l5 -k -nc -E -A .pk3 http://q3a.ath.cx/

j'obtiens que deux fichiers robots.txt et l'index
si quelqu'un a une idée?

Dernière modification par wido (Le 04/02/2010, à 15:51)

Hors ligne

#2 Le 03/02/2010, à 18:48

sputnick

Re : [Wget] download.php (résolu)

Salut,

c'est un fichier qui est là justement pour empêcher que des personnes n'aspirent un site.
Donc, s'il le placent, c'est leur droits, ça peux souvent être aussi une manière de se prémunir contre la vampirisation des processus apache. En effet, ce n'est pas anodin d'aspirer un site, en face le pauvre serveur apache qui était peux être déjà au taquet va réclamer des nouveaux threads et allouer de la RAM sur le serveur ( ça dépends aussi de sa conf... ).
Si pour une raison X tu souhaite malgré tout poursuivre, tu doit changer le "user agent" de ton navigateur.

++


bashfr.org(random);
<arciks1994> dou tu connai qel age j'ai ?

Hors ligne

#3 Le 04/02/2010, à 13:54

xamaco

Re : [Wget] download.php (résolu)

Voir (en anglais) :
http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html#Robot-Exclusion

Hors ligne

#4 Le 04/02/2010, à 15:50

wido

Re : [Wget] download.php (résolu)

je vous remercie xamaco et sputnick, la commande fonctionne:

wget -e robots=off -r -linf -k -p -E http://q3a.ath.cx/

PS: Ajout du paramètre -e robots=off
comme j'ai déjà pas mal de maps c'est pour compléter mon dossier ça m'évite de les retélécharger ultérieurement.

Dernière modification par wido (Le 04/02/2010, à 15:50)

Hors ligne

Haut de page ↑