#1 Le 24/10/2022, à 12:56
- JLK
[RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Bonjour à tous. 
Depuis le site de Debian, je veux télécharger automatiquement et récursivement tous les fichiers *.jigdo et *.template depuis un terminal, et si possible en une seule ligne de commande. Le site est à cette adresse : https://cdimage.debian.org/cdimage/week … igdo-dlbd/
Je crois qu'on peut le faire soit avec wget, soit avec curl. Ces outils ont énormément de possibilité, mais c'est la première fois que je les utilise, et leur documentation respective est particulièrement fournie, et je doute d'avoir bien compris la subtilité entre ces deux commandes. Il y a tellement d'options, que même une chatte perdrait ces petites. 
Comment procède-t-on ?
Merci de votre compréhension.
Dernière modification par JLK (Le 24/10/2022, à 13:51)
Hors ligne
#2 Le 24/10/2022, à 13:30
- nany
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Bonjour,
À brûle-pourpoint, avec wget :
wget -c -r -l 1 -A "*.jigdo","*.template" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/?
En ligne
#3 Le 24/10/2022, à 13:50
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
nany a écrit :
Bonjour,
À brûle-pourpoint, avec wget :
wget -c -r -l 1 -A "*.jigdo","*.template" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/?
Merci nany, ça marche.
Dernière modification par JLK (Le 24/10/2022, à 13:57)
Hors ligne
#4 Le 02/11/2022, à 19:22
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
C'est encore moi !
J'ai essayé cette commande et marche nickel. Il y a un fichier robot qui est crée mais pas supprimé après l'exécution de la commande. Y a-t-il une option supplémentaire pour y remédier ?
Hors ligne
#5 Le 02/11/2022, à 19:35
- nany
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Bizarre, ça ne le fait pas chez moi.
Peut-on voir le retour de la commande ?
Extrait de ce que ça donne chez moi :
$ wget -c -r -l 1 -A "*.jigdo","*.template" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/
…
Chargement de robots.txt ; veuillez ignorer les erreurs.
--2022-11-02 18:27:05-- https://cdimage.debian.org/robots.txt
Réutilisation de la connexion existante à [cdimage.debian.org]:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 1920 (1,9K) [text/plain]
Enregistre : ‘robots.txt.tmp’
robots.txt.tmp 100%[=====================================================================================================================>] 1,88K --.-KB/s ds 0s
2022-11-02 18:27:05 (809 MB/s) - ‘robots.txt.tmp’ enregistré [1920/1920]
Destruction de robots.txt.tmp.
…En ligne
#6 Le 02/11/2022, à 20:36
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
time (cd '/media/Données/[ISOS OS]/Linux/Debian' && ^Cet -c -r -l 1 -A "*.jigdo","*.template" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/ && jigdo-litejean-romain@desktop:~$ wget -c -r -l 1 -A "*.jigdo","*.template" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/
--2022-11-02 19:32:50-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/
Résolution de cdimage.debian.org (cdimage.debian.org)… 194.71.11.165, 194.71.11.163, 194.71.11.173, ...
Connexion à cdimage.debian.org (cdimage.debian.org)|194.71.11.165|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : non indiqué [text/html]
Enregistre : «index.html.tmp»
index.html.tmp [ <=> ] 8,25K --.-KB/s ds 0,001s
2022-11-02 19:32:51 (5,73 MB/s) - «index.html.tmp» enregistré [8452]
Chargement de robots.txt ; veuillez ignorer les erreurs.
--2022-11-02 19:32:51-- https://cdimage.debian.org/robots.txt
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 1920 (1,9K) [text/plain]
Enregistre : «robots.txt.tmp»
Le fichier robots.txt.tmp demeure toujours dans le dossier de travail
robots.txt.tmp 100%[=====================================================================================================================>] 1,88K --.-KB/s ds 0s
2022-11-02 19:32:51 (203 MB/s) - «robots.txt.tmp» enregistré [1920/1920]
Suppression de index.html.tmp puisqu’il devrait être rejeté.
--2022-11-02 19:32:51-- https://cdimage.debian.org/cdimage/unofficial/non-free/cd-including-firmware/
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 4298 (4,2K) [text/html]
Enregistre : «index.html.tmp»
index.html.tmp 100%[=====================================================================================================================>] 4,20K --.-KB/s ds 0s
2022-11-02 19:32:51 (524 MB/s) - «index.html.tmp» enregistré [4298/4298]
Suppression de index.html.tmp puisqu’il devrait être rejeté.
--2022-11-02 19:32:51-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/?C=N;O=D
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : non indiqué [text/html]
Enregistre : «index.html?C=N;O=D.tmp»
index.html?C=N;O=D.tmp [ <=> ] 8,25K --.-KB/s ds 0,001s
2022-11-02 19:32:51 (6,75 MB/s) - «index.html?C=N;O=D.tmp» enregistré [8452]
Suppression de index.html?C=N;O=D.tmp puisqu’il devrait être rejeté.
--2022-11-02 19:32:51-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/?C=M;O=A
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : non indiqué [text/html]
Enregistre : «index.html?C=M;O=A.tmp»
index.html?C=M;O=A.tmp [ <=> ] 8,25K --.-KB/s ds 0,001s
2022-11-02 19:32:51 (7,03 MB/s) - «index.html?C=M;O=A.tmp» enregistré [8452]
Suppression de index.html?C=M;O=A.tmp puisqu’il devrait être rejeté.
--2022-11-02 19:32:51-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/?C=S;O=A
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : non indiqué [text/html]
Enregistre : «index.html?C=S;O=A.tmp»
index.html?C=S;O=A.tmp [ <=> ] 8,25K --.-KB/s ds 0s
2022-11-02 19:32:51 (16,8 MB/s) - «index.html?C=S;O=A.tmp» enregistré [8452]
Suppression de index.html?C=S;O=A.tmp puisqu’il devrait être rejeté.
--2022-11-02 19:32:51-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : non indiqué [text/html]
Enregistre : «index.html.tmp»
index.html.tmp [ <=> ] 5,03K --.-KB/s ds 0s
2022-11-02 19:32:51 (72,4 MB/s) - «index.html.tmp» enregistré [5150]
Suppression de index.html.tmp puisqu’il devrait être rejeté.
--2022-11-02 19:32:51-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-1.jigdo
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 799864 (781K)
Enregistre : «debian-testing-amd64-DLBD-1.jigdo»
debian-testing-amd64-DLBD-1.jigdo 100%[=====================================================================================================================>] 781,12K 1,40MB/s ds 0,5s
2022-11-02 19:32:52 (1,40 MB/s) - «debian-testing-amd64-DLBD-1.jigdo» enregistré [799864/799864]
--2022-11-02 19:32:52-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-1.template
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 302 Found
Emplacement : https://gemmei.ftp.acc.umu.se/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-1.template [suivant]
--2022-11-02 19:32:52-- https://gemmei.ftp.acc.umu.se/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-1.template
Résolution de gemmei.ftp.acc.umu.se (gemmei.ftp.acc.umu.se)… 194.71.11.137, 2001:6b0:19::137
Connexion à gemmei.ftp.acc.umu.se (gemmei.ftp.acc.umu.se)|194.71.11.137|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 138830693 (132M)
Enregistre : «debian-testing-amd64-DLBD-1.template»
debian-testing-amd64-DLBD-1.template 15%[=================> debian-tdebian-testing-amd6 100%[==================>] 132,40M 1,65MB/s ds 82s
2022-11-02 19:34:14 (1,61 MB/s) - «debian-testing-amd64-DLBD-1.template» enregistré [138830693/138830693]
--2022-11-02 19:34:14-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-2.jigdo
Connexion à cdimage.debian.org (cdimage.debian.org)|194.71.11.165|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 1094804 (1,0M)
Enregistre : «debian-testing-amd64-DLBD-2.jigdo»
debian-testing-amd6 100%[==================>] 1,04M 1,43MB/s ds 0,7s
2022-11-02 19:34:15 (1,43 MB/s) - «debian-testing-amd64-DLBD-2.jigdo» enregistré [1094804/1094804]
--2022-11-02 19:34:15-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-2.template
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 302 Found
Emplacement : https://laotzu.ftp.acc.umu.se/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-2.template [suivant]
--2022-11-02 19:34:15-- https://laotzu.ftp.acc.umu.se/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-2.template
Résolution de laotzu.ftp.acc.umu.se (laotzu.ftp.acc.umu.se)… 194.71.11.166, 2001:6b0:19::166
Connexion à laotzu.ftp.acc.umu.se (laotzu.ftp.acc.umu.se)|194.71.11.166|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 26383214 (25M)
Enregistre : «debian-testing-amd64-DLBD-2.template»
debian-testing-amd6 100%[==================>] 25,16M 1,64MB/s ds 16s
2022-11-02 19:34:31 (1,62 MB/s) - «debian-testing-amd64-DLBD-2.template» enregistré [26383214/26383214]
--2022-11-02 19:34:31-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-3.jigdo
Connexion à cdimage.debian.org (cdimage.debian.org)|194.71.11.165|:443… connecté.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 6311 (6,2K)
Enregistre : «debian-testing-amd64-DLBD-3.jigdo»
debian-testing-amd6 100%[==================>] 6,16K --.-KB/s ds 0s
2022-11-02 19:34:31 (692 MB/s) - «debian-testing-amd64-DLBD-3.jigdo» enregistré [6311/6311]
--2022-11-02 19:34:31-- https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/debian-testing-amd64-DLBD-3.template
Réutilisation de la connexion existante à cdimage.debian.org:443.
requête HTTP transmise, en attente de la réponse… 200 OK
Taille : 188025 (184K)
Enregistre : «debian-testing-amd64-DLBD-3.template»
debian-testing-amd6 100%[==================>] 183,62K 1,03MB/s ds 0,2s
2022-11-02 19:34:31 (1,03 MB/s) - «debian-testing-amd64-DLBD-3.template» enregistré [188025/188025]
Terminé — 2022-11-02 19:34:31 —
Temps total effectif : 1m 41s
Téléchargés : 13 fichiers, 160M en 1m 39s (1,61 MB/s)Dernière modification par JLK (Le 02/11/2022, à 20:37)
Hors ligne
#7 Le 02/11/2022, à 21:04
- nany
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Bizarre…
nany a écrit :
Bizarre
Normalement l’option -A "*.jigdo","*.template"1 dit de n’accepter que les fichiers jigdo ou template et donc implicitement de rejeter les autres fichiers (dont robots.txt) comme on peut le voir dans le retour que j’ai donné.
Je ne sais pas pourquoi il n’y a pas de destruction de ce fichier chez toi (alors qu’index.html est bien supprimé)
Il te faudrait peut-être essayer l’option -R "robots*"1 ?
1 - Extrait du man wget pour expliquer les options -A et -R :
Recursive Accept/Reject Options
-A acclist --accept acclist
-R rejlist --reject rejlist
Specify comma-separated lists of file name suffixes or patterns to accept or reject. Note that if any of the wildcard characters, *, ?, [ or ], appear in an element of acclist or rejlist, it
will be treated as a pattern, rather than a suffix. In this case, you have to enclose the pattern into quotes to prevent your shell from expanding it, like in -A "*.mp3" or -A '*.mp3'.En ligne
#8 Le 02/11/2022, à 21:16
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Ce qui donnerait ?
Hors ligne
#9 Le 02/11/2022, à 21:18
- nany
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Ce qui donnerait :
wget -c -r -l 1 -A "*.jigdo","*.template" -R "robots*" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/En ligne
#10 Le 02/11/2022, à 21:38
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
nany a écrit :
Ce qui donnerait :
wget -c -r -l 1 -A "*.jigdo","*.template" -R "robots*" -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/
OK, merci nany, je teste ça.
EDIT : finalement, ça échoue, le fichier reste. 
Dernière modification par JLK (Le 02/11/2022, à 21:41)
Hors ligne
#11 Le 02/11/2022, à 22:03
- nany
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
JLK a écrit :
EDIT : finalement, ça échoue, le fichier reste.
Mmmmmh… Alors essayons une méthode plus radicale : -e robots=off.
Ce qui donne alors :
wget -c -r -np -A "*.jigdo","*.template" -e robots=off -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/À noter que j’ai aussi remplacé -l 1 par -np qui a le même effet.
En ligne
#12 Le 02/11/2022, à 22:13
- MicP
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Bonjour
Oui, celle là fonctionne sur debian et Ubuntu
Hors ligne
#13 Le 03/11/2022, à 00:16
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Désolé, c'est sans effet. Le fichier est toujours là, le gredin.
Hors ligne
#14 Le 03/11/2022, à 00:32
- MicP
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Je viens de refaire un test depuis Ubuntu 22.04.1 LTS et debian 11
en utilisant la ligne de commande :
wget -c -r -np -A "*.jigdo","*.template" -e robots=off -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/et dans les deux cas, il n'y a que les fichiers suivants qui ont été téléchargés :
-rw-r--r-- 1 michel michel 799864 31 oct. 05:31 debian-testing-amd64-DLBD-1.jigdo
-rw-r--r-- 1 michel michel 138830693 31 oct. 05:31 debian-testing-amd64-DLBD-1.template
-rw-r--r-- 1 michel michel 1094804 31 oct. 05:31 debian-testing-amd64-DLBD-2.jigdo
-rw-r--r-- 1 michel michel 26383214 31 oct. 05:31 debian-testing-amd64-DLBD-2.template
-rw-r--r-- 1 michel michel 6311 31 oct. 05:05 debian-testing-amd64-DLBD-3.jigdo
-rw-r--r-- 1 michel michel 188025 31 oct. 05:05 debian-testing-amd64-DLBD-3.templateHors ligne
#15 Le 03/11/2022, à 00:38
- nany
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Grmpf !
Ton répertoire de réception est bien vide avant de lancer la commande ?
Peut-être un problème d’user-agent ?
Je propose donc :
wget -c -r -np -A "*.jigdo","*.template" -e robots=off -U Mozilla/5.0 -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/Dernière modification par nany (Le 03/11/2022, à 00:38)
En ligne
#16 Le 03/11/2022, à 01:45
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
nany a écrit :
Grmpf !
Ton répertoire de réception est bien vide avant de lancer la commande ?
Peut-être un problème d’user-agent ?
Je propose donc :
wget -c -r -np -A "*.jigdo","*.template" -e robots=off -U Mozilla/5.0 -nd https://cdimage.debian.org/cdimage/weekly-builds/amd64/jigdo-dlbd/
Non, il n'est pas vide.
EDIT : Youpi ! 
Ça fonctionné comme je voulais.
Dernière modification par JLK (Le 03/11/2022, à 01:51)
Hors ligne
#17 Le 03/11/2022, à 05:35
- Watael
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
vous êtes bons les "gars" !
JLK ? envie de changer d'avatar ?...
Connected \o/
Welcome to sHell. · eval is evil.
Hors ligne
#18 Le 03/11/2022, à 10:42
- JLK
Re : [RÉSOLU] Télécharger récursivement des fichiers depuis une page web ?
Watael a écrit :
vous êtes bons les "gars" !
JLK ? envie de changer d'avatar ?...
Non, pourquoi ? Et toi ? 
Hors ligne