Contenu | Rechercher | Menus

Annonce

Si vous rencontrez des soucis à rester connecté sur le forum (ou si vous avez perdu votre mot de passe) déconnectez-vous et reconnectez-vous depuis cette page, en cochant la case "Me connecter automatiquement lors de mes prochaines visites". Attention, le forum rencontre actuellement quelques difficultés. En cas d'erreur 502, il ne faut pas re-valider l'envoi d'un message ou l'ouverture d'une discussion, au risque de créer un doublon.

La section divers se réorganise ! De nouvelles sous-sections à venir. (plus d'infos + donner son avis)

#126 Le 07/12/2008, à 12:52

Nifux

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

en fait je préférerai pas car c'est le blog perso d'un ami donc le mettre comme cela sur un site public...

Je vais essayer d'être plus clair.

Donc cet ami aimerait que je fasse une sauvegarde de son blog. Il y a une page d'accueil (http://journal.pseudo.blog.com) et des pages en liens sur cette page d'accueil (listes des post selon les mois. Pour septembre : http://journal.pseudo.blog.com/2008/09) donc 3 niveaux à aspirer (exemple d'url d'un article de septembre http://journal.pseudo.blog.com/20080931015210/aujoud-hui-c-est-l-automne/).

Tout se passe bien avec le
wget -r -l5 -k -E "http://www.l_adresse_du_site.a_recuperer.com"

sauf que les images des articles ne sont pas importées... donc je ne sais pas quelle option faire et je ne sais pas pourquoi. Je me dis que c'est peut être parce que les images sont stockées plus à la racine du site.
http://www.blog.com/images/pseudo
et ne sont pas un sous dossier de http://journal.pseudo.blog.com

quand j'essaye de faire un
wget -r -l1 http://www.blog.com/images/pseudo --no-parent -A.jpg
il me met que l'accès du dossier est refusé.

requête HTTP transmise, en attente de la réponse... 403 Forbidden
2008-12-07 12:50:38 ERREUR 403: Forbidden.

donc je me demandais si on pouvait trouver une astuce our récupérer les images indépendamment ou non des textes et mise en forme du blog.

Hors ligne

#127 Le 07/12/2008, à 14:25

Grunt

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

C'est le serveur de son blog qui fait chier, alors, en refusant les demandes directes d'une image.

Essaie de changer le User Agent de wget, peut-être.
Sinon, explique lui qu'il a mis son blog sur une plateforme pourrie, et que l'auto-hébergement saybien cool

Dernière modification par Grand_Grunt (Le 07/12/2008, à 14:25)

#128 Le 07/12/2008, à 14:55

Nifux

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

changer le user agent ??

je note pour l'auto-hébergement smile

Hors ligne

#129 Le 14/01/2009, à 12:16

fienno71

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Bonjour j'ai essayé de récupérer un site pour pouvoir le consulter  chez moi ,mais lorsque j'envoi la requête je reçois le message ,que  la requête ne peut aboutir car il ne trouve pas le site en question.
j'aimerais savoir si la présence d'un proxy peut en être la cause.
Merci

#130 Le 14/01/2009, à 15:31

fienno71

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

C'est ok,
ça marche,je me dis que c'est le proxy qui bloquait parceque je suis sur un réseau qui n'en pas et ça marche.

fienno71 a écrit :

Bonjour j'ai essayé de récupérer un site pour pouvoir le consulter  chez moi ,mais lorsque j'envoi la requête je reçois le message ,que  la requête ne peut aboutir car il ne trouve pas le site en question.
j'aimerais savoir si la présence d'un proxy peut en être la cause.
Merci

#131 Le 04/04/2009, à 22:44

Tinou83

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Sympa l'astuce on peu s'en servir pour plein de choses, bien ou mal wink.

Hors ligne

#132 Le 16/04/2009, à 16:40

breizh de laz

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

salut
cela ne marche que pour la premiere page ,pour les forumactifs.

a bientot


Ubuntu 12.04 TLS

Hors ligne

#133 Le 15/06/2009, à 17:12

turbozender

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

salut
ca le stock ou le site je le trouve pas sur mon disque dur ? neutral

Hors ligne

#134 Le 15/06/2009, à 19:53

Slystone

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Normalement un dossier est créé dans ton home (/home/pseudo/nouveaudossier/).
Sinon tu peux utiliser l'option -P pour indiquer un répertoire. Ex:

wget -P /media/disqueperso/dossier/ -r http://monsite.com


« Rigid, the skeleton of habit alone upholds the human frame. » - Virginia Woolf.
Mon petit blog avec mes tutos, mes trads, et mes humeurs (commentaires bienvenus).
Co-fondateur de GoeLUG, le Gull du Havre

Hors ligne

#135 Le 15/06/2009, à 20:33

turbozender

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

merci
c'est ok
je cherchais le tas de fichier et pas un seul dossier

en plus ca range bien     tongue

Hors ligne

#136 Le 30/08/2009, à 10:10

sdblepas

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Salut
C'est geniale comme truc
Je me demandes juste s'il y aurais un moyen de definir le type de fichier a telecharger, genre que les jpg. ou que les gif?
Merci

Hors ligne

#137 Le 30/08/2009, à 11:37

pabix

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

oui. dans la page de manuel, tu as l'option -A ou --accept :
wget [...] -A '*.jpg,*.gif'

Mais je ne sais pas si ça marchera avec l'option récursive. Dis moi ce que ça donne.


Utilisateur du clavier BÉPO.
mortgat (()) gmail () com
GPG 0x377D716D

Hors ligne

#138 Le 30/08/2009, à 11:51

Slystone

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Ca marche parfaitement bien avec l'option récursive ! cool Je m'en sers avec bonheur pour télécharger des livres audio (au lieu de cliquer des dizaines de fois sur enregistrer sous).


« Rigid, the skeleton of habit alone upholds the human frame. » - Virginia Woolf.
Mon petit blog avec mes tutos, mes trads, et mes humeurs (commentaires bienvenus).
Co-fondateur de GoeLUG, le Gull du Havre

Hors ligne

#139 Le 30/08/2009, à 13:19

sdblepas

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

merci

Hors ligne

#140 Le 04/09/2009, à 14:43

fredolecrado

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

bonjour
j aimerai savoir comment fair pour télécharger toutes les vidéos en liens sur video-maths.fr je suis tous nouveau utilisateur.... merci d avance

Hors ligne

#141 Le 04/09/2009, à 23:47

Slystone

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Oui mais là ce topic n'est d'aucune utilité comme il n'y a pas de lien direct de téléchargement pour les vidéos, l'offre est en streaming. Ta meilleure chance est donc de passer par un addon (sous Firefox par exemple) tel downloadhelper ou un truc du genre. A toi de rechercher dans les modules complémentaires. wink

Dernière modification par Slystone (Le 06/09/2009, à 09:42)


« Rigid, the skeleton of habit alone upholds the human frame. » - Virginia Woolf.
Mon petit blog avec mes tutos, mes trads, et mes humeurs (commentaires bienvenus).
Co-fondateur de GoeLUG, le Gull du Havre

Hors ligne

#142 Le 06/09/2009, à 02:44

MiNiShOoTeR

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Ou de charger les vidéos en streaming puis d'aller les chercher dans /tmp

(on évite d'utiliser un plugin pour rien quoi! smile )

Hors ligne

#143 Le 06/09/2009, à 14:06

fredolecrado

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

merci pour le tuyo

Hors ligne

#144 Le 28/11/2009, à 14:00

bece

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Excellente cette commande, je vais surement la tester smile
Merci.


http://www.jeremychevrier.com/ -> un jour j'aurai le courage de le réouvrir !
Toshiba Satellite L550-13U - Dual Core T4300 -> Fedora 16
http://www.makinamania.com
"L'informatique, c'est l'art de passer 15 jours à gagner 5 millisecondes"

Hors ligne

#145 Le 04/12/2009, à 05:35

TSIPC

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

J'lai testé tantôt sur un de mes sites qui contient beaucoup d'images, c'est fascinent la rapidité. J'en reviens pas. Pas plus de 20 secondes et tout mon site était dans un répertoire sur mon HD. Wow.


Portable HP G60 414-CA, 4 gigs de mémoire.
Ubuntu 9.10 depuis le 12 décembre 2009. Mise à jour à 10.04 ensuite à 10.10. Seul et unique OS sur le portable. Aucun problème non résolu à ce jour (30 novembre 2010) très stable et rapide.

Hors ligne

#146 Le 05/12/2009, à 16:03

chimay

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

hello,

petit script avec quelques options qui vont bien, à adapter :

#! /bin/sh

[ $# -ge 2 ] && NIVEAU=$2 || NIVEAU=2

#RECURSIVITE="-r -l ${NIVEAU} -p -k -E"
RECURSIVITE="--recursive --level=${NIVEAU} --page-requisites"

#PARENTS="-np"
#PARENTS="--no-parent"
PARENTS=""

#CONVERSION="-k -E"
CONVERSION="--convert-links --html-extension"

ATTENTE="--wait=5 --random-wait"

#EXCLUSIONS="-R .pdf,.ps,.mid,.midi,.mp3,.ogg,.wav,.flv"
EXCLUSIONS="--reject .pdf,.ps,.mid,.midi,.mp3,.ogg,.wav,.flv"

CASSE="--ignore-case"

OPTIONS="$RECURSIVITE $PARENTS $CONVERSION $ATTENTE $EXCLUSIONS $CASSE"

echo "wget $OPTIONS http://$1"

wget $OPTIONS http://$1

* Linux est écolo : le code est tout vert
* Un dauphin nage plus vite qu'un nautile nain
* Le but d'un système d'exploitation est d'exploiter l'ordinateur, pas l'utilisateur
* Un ordinateur est composé d'un piano, d'une mangeuse de fromage, d'une mémoire d'éléphant, d'une dalle, d'un lecteur de galette, et d'un moulin, le célèbre moulin de la galette

Hors ligne

#147 Le 24/12/2009, à 14:01

dybman

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Merci pour ce tuto wink

Hors ligne

#148 Le 12/01/2010, à 22:18

ricobanzai

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Je viens de découvrir cette commande fabuleuse et je me demandais si je pourrais l'utiliser dans mon cas.

Je voudrais récupérer les photos d'un album Picasa non public. J'ai essayé vite fait mais il me renvoie une erreur 500.

Merci d'avance

Hors ligne

#149 Le 13/01/2010, à 11:36

CasseTaTele

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

@ricobanzai
si c'est non public, tu dois t'identifier, essaie d'activer les cookies avec l'option
"--load-cookies"

Hors ligne

#150 Le 13/01/2010, à 22:51

ricobanzai

Re : [Tuto] Rapatrier un site web entier en UNE ligne de commande

Ok maintenant il me demande de préciser des arguments.

Comment je le tape sous quelle syntaxe ?

Hors ligne

Haut de page ↑