Aspirateur de forum

LR · Le 20/12/2005, à 11:48

Salut,

J'ai un forum (phpBB) chez forumactif. J'ai été stupide de le créer chez eux car maintenant je souhaite installer mon propre système chez mon hébergeur et ils ne veulent pas me fournir mes données.

Comme je n'ai pas du tout l'intention de me taper manuellement le copier/collé de tous les messages, il me faut un "aspirateur".

Il faudrait que cet aspirateur puisse être configuré sur la base d'un template. Comme ça je crée un template qui correspond à mon forum et l'aspirateur peut me fournir seulement les données intéressantes. Il faut aussi qu'il puisse être configuré pour "comprendre" les différents niveaux du forum (salles, discussions).

Le but, c'est qu'à la fin je me retrouve avec le contenu de mon forum, stocké sous une forme quelconque (base de données, fichiers textes etc.).

Je suis prêt à développer la plus grande partie mais je n'ai pas envie de me prendre trop la tête pour le parsing et la gestion des connexions etc.

Connaissez-vous un outil qui pourrait faire ça ?
Si un outil tout fait n'existe pas, connaissez-vous qqch sur quoi je pourrais me base ?

Si je dois développer qqch, j'envisage de le mettre à la disposition de tous et de faire un peu de pub sur les forums de forumactif pour que les autres utilisateurs qui sont "prisonniers" comme moi puisse s'en sortir http://forum.ubuntu-fr.org/viewtopic.php?id=21765

Merci d'avance
Lilian

Dernière modification par LR (Le 20/12/2005, à 11:49)

ActaTux · Le 20/12/2005, à 12:04

Bonjour,

tu peux récupérer les données de ton forum phpBB via la console d'administration. Je me rappelle plus la procédure à suivre, mais normalement tu finis avec un beau fichier texte que tu peux dumper sur ton nouveau forum.

++

LR · Le 20/12/2005, à 12:10

Ca m'étonnerait... Forumactif te permet de restaurer une sauvegarde de ton forum mais ne te permet pas de récupérer un dump ou quoi que ce soit de ce genre

ActaTux · Le 20/12/2005, à 12:41

tu n'as pas l'accès Administrateur sur ton forum ??

je ne connais pas ForumActif, mais ils sont sacrément gonflés s'ils bloquent la partie Administration !

LR · Le 20/12/2005, à 12:46

Regarde par toi-même, hier j'ai créé un forum bidon : asdf.ephpbb.com
nom d'utilisateur "asdf"
mot de passe "asdf1234".

Mais oui, je pense qu'ils sont gonflés

ActaTux · Le 20/12/2005, à 15:17

exact

sur http://forum.forumactif.com/ftopic12969 … ssible.htm

on peut lire :

Voici des choses que vous ne pouvez pas faire sur forumactif :
[...]
- récupérer une sauvegarde sql de la base de données
[...]

c'est un système de fidélisation particulier

enfin, ils proposent l'hébergement d'un forum gratuitement, on ne les blâmera pas complètement.

faudrait voir si tu peux uploader une page en PHP qui tape dans ta base de données ou un truc du genre, j'y crois pas trop mais à part ça...

bon courage

++

LR · Le 20/12/2005, à 15:21

Non, sur que je ne pourrai rien uploader...

je me tournerai volontiers vers une solution d'aspirateur de sites mais je n'ai jamais utilisé ce genre d'outil. Est-ce qu'il en existe un qui ferait ça ? Ou est-ce qu'il en existe un qui fait qqch d'approchant et que je pourrais adapter ?

hector · Le 22/12/2005, à 16:34

bonjour,
je sais qu'il existe une extension de firefox nommé spiderzilla dont le rôle est d'aspirer un site web, avec quelques paramètrages possibles, je ne sais pas si c'est ça que tu cherches, si oui va voir ici: http://extensions.geckozone.org/Spiderzilla

nb: au fait LR, t'en es ou avec ton fichier lircrc ?

Dernière modification par hector (Le 22/12/2005, à 16:36)

LR · Le 22/12/2005, à 16:48

Merci, je vais jeter un coup d'oeil.

PS pour lircrc, je suis désolé, je n'ai pas eu le temps d'essayer (c'est une période un peu chargée...). Mais je n'ai pas oublié

ActaTux · Le 22/12/2005, à 17:53

httrack et webhttrack

ça marche bien

++

kedare · Le 25/12/2005, à 02:32

LR a écrit :

Ca m'étonnerait... Forumactif te permet de restaurer une sauvegarde de ton forum mais ne te permet pas de récupérer un dump ou quoi que ce soit de ce genre

ils sont obligé , c'est ton forum , les donnée t'appartiennes , si il te les donnes pas tu peut porter plainte

Splitsch · Le 25/12/2005, à 14:44

Justement, en fait, les données ne lui appartienne pas. Ainsi, lors de l'avtivation du forum, tu l'as fait en connaissance de cause, de cette impossibilité (ou, tu aurais du la connaitre, tel el bon pere de famille qui se renseigne avant de signer).
Bref, si effectivement, en soi, les texte appartiennent à leur auteurs, lors de l'enregistrement, tu as donné ton accord pour ne pas avoir l'occasion de récupérer ces données par un autre moyen que le copier-coller...Va en Justice, mais tu te feras avoir...Enfin, bon, c'est toujours aussi à l'appreciation du juge, on peut notamment jouer sur le fait que c'est une clause abusive, mais rien n'est moins sur.
De plus, je ne sais pas si il existe un statut des données, en droit français (je suis belge )...Ce ne sont pas des meuble, ni immeuble...c'est incorporel (mais surement pas sans valeur)...Bref, c'est pas aussi évident que ce que Kedare à l'air de supposer...
De plus, la voie juridique est la dernière voie à entreprendre...

Aplus!

Molinard · Le 25/07/2008, à 18:25

LR as-tu trouvé une solution ? je suis dans le même cas aujourd'hui. Du côté des aspirateurs de sites, j'ai trouvé http://softbytelabs.com/fr/br/ quelqu'un l'utilise ?

claudius01 · Le 26/07/2008, à 18:52

Bonjour,

A mon boulot, j'utilise régulièrement wget (cf. http://www.delafond.org/traducmanfr/man/man1/wget.1.html) qui permet de jolies choses pour peu de maîriser les (trop ;-) multiples options de lancement ;-O)

Cordialement, A+
--
Claudius

LR · Le 26/07/2008, à 21:42

Salut,

Je n'ai pas trouvé de solution, j'ai un peu laissé ce problème de coté

Si je trouvais quelque chose, je viendrai le dire ici.

Bon courage

mansonboy · Le 27/07/2008, à 01:42

claudius01 a écrit :

Bonjour,
A mon boulot, j'utilise régulièrement wget (cf. http://www.delafond.org/traducmanfr/man/man1/wget.1.html) qui permet de jolies choses pour peu de maîriser les (trop ;-) multiples options de lancement ;-O)

Cordialement, A+
--
Claudius

+1 pour wget, sa ma deja permit pas mal de chose pratique que j'avais besoin de recuperer sur le net.

LR · Le 27/07/2008, à 10:46

ce qu'il faudrait, c'est pouvoir télécharger toutes les pages correspondantes aux forums et à tous les messages. Et les convertir ensuite en xml pour pouvoir ensuite insérer les infos dans une base...

Benzouye · Le 06/04/2009, à 17:36

Salut !

Je suis également "possesseur" (pas tant que ça finalement) d'un forumactif.
Souhaitant l'héberger par moi-même, je suis confronté à cette incohérence concernant l'accès à "ma" base de données ...

Un sujet en dis plus sur ce forum mais n'aboutit sur pas grand chose ...

ActaTux a écrit :

httrack et webhttrack ça marche bien

C'est vrai, reste quelques petits souci de parcours des sous-forums vérouillés.

Et puis derrière la grande problématique de formatage des données "aspirées" en xml ou mysql ...

Je me mets moi aussi dans la boucle et rendrais compte d'éventuelles nouveautés ...

Link31 · Le 06/04/2009, à 18:03

Benzouye a écrit :

Et puis derrière la grande problématique de formatage des données "aspirées" en xml ou mysql ...

Avec du Xpath, c'est assez simple. Il suffirait de trouver un outil xpath en ligne de commande qui accepte du html plus ou moins bien écrit. Au pire, même si ça n'existe pas, ça se code facilement en C/C++ en utilisant la libxml2 et son parser html, qui est spécialement conçu pour être tolérant et qui transforme une page quelconque en un arbre xml facilement exploitable.

axragide · Le 24/11/2009, à 17:46

Up :d

Bubuff · Le 16/03/2011, à 12:01

Bonjour,

étant donné que vous êtes plusieurs à avoir ce souci, j'ai le même problème pour une personne proche.
Ils ont besoin de refaire le site et le service gratuit proposé de leur convient plus et ils ont besoin de leurs données.
Je vais certainement développer un outil permettant l'aspiration et la régénération d'un dump propre au format phpBB.
L'idée c'est de pouvoir repartir sur une install neuve de phpbb et avec déjà une base remplie.
Donc je prévois d'aspirer les profils et leurs infos et ensuite tous les messages (si y a des images inclues ou autre on verra plus tard)
comme je vois que d'autres sont en galère, ça pourra peut être servir, alors dites moi si vous avez trouvé une solution entre temps ou si vous seriez intéressés par mon truc

niveau délais, étant donné que je suis méga overbooké, ce sera fini dans plusieurs semaines alors que je pense qu'en quelques soirées ce sera réglé

bon courrage a+

RegisBurin · Le 16/03/2011, à 12:15

(abonnement)
L'outil m'intéresse.

Bon courage
@+

Benzouye · Le 16/03/2011, à 14:40

J'attends depuis longtemps, quelques semaines de plus ne seront pas grand chose

Je reste dans le coin !

cyrosy · Le 01/07/2011, à 01:11

Salut à tous,

je serais également intéressé de pouvoir récupérer la bdd d'un phpbb hébergé gratuitement chez Xooit ...

Quelqu'un a-t-il fini par trouver une solution pas trop contraignante ?

margaga · Le 03/07/2011, à 12:12

vous conaissez wget ? en mode recursif et avec l'option -nd faut le temps de télécharger toutes les page

mkdir nomDossier && cd nomDossier
wget --recursive -nd "adresseduforum.com"

tu laisses mouliner (exemple pour telecharger le forum d'ubuntu j'ai mis 23 heures ...) mais si ton forum est plus petits qu'ici ca passe sans probleme

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 20/12/2005, à 11:48

Aspirateur de forum

#2 Le 20/12/2005, à 12:04

Re : Aspirateur de forum

#3 Le 20/12/2005, à 12:10

Re : Aspirateur de forum

#4 Le 20/12/2005, à 12:41

Re : Aspirateur de forum

#5 Le 20/12/2005, à 12:46

Re : Aspirateur de forum

#6 Le 20/12/2005, à 15:17

Re : Aspirateur de forum

#7 Le 20/12/2005, à 15:21

Re : Aspirateur de forum

#8 Le 22/12/2005, à 16:34

Re : Aspirateur de forum

#9 Le 22/12/2005, à 16:48

Re : Aspirateur de forum

#10 Le 22/12/2005, à 17:53

Re : Aspirateur de forum

#11 Le 25/12/2005, à 02:32

Re : Aspirateur de forum

#12 Le 25/12/2005, à 14:44

Re : Aspirateur de forum

#13 Le 25/07/2008, à 18:25

Re : Aspirateur de forum

#14 Le 26/07/2008, à 18:52

Re : Aspirateur de forum

#15 Le 26/07/2008, à 21:42

Re : Aspirateur de forum

#16 Le 27/07/2008, à 01:42

Re : Aspirateur de forum

#17 Le 27/07/2008, à 10:46

Re : Aspirateur de forum

#18 Le 06/04/2009, à 17:36

Re : Aspirateur de forum

#19 Le 06/04/2009, à 18:03

Re : Aspirateur de forum

#20 Le 24/11/2009, à 17:46

Re : Aspirateur de forum

#21 Le 16/03/2011, à 12:01

Re : Aspirateur de forum

#22 Le 16/03/2011, à 12:15

Re : Aspirateur de forum

#23 Le 16/03/2011, à 14:40

Re : Aspirateur de forum

#24 Le 01/07/2011, à 01:11

Re : Aspirateur de forum

#25 Le 03/07/2011, à 12:12

Re : Aspirateur de forum

Pied de page des forums