projet wiki-corrector

moths-art · Le 18/12/2021, à 19:45

Amiralgaby a écrit :

On pourrait presque se demander si un bot n'est pas une mauvaise idée... Perso je suis pour le changement HTTP -> HTTPS par un bot. Peut être trop ambitieux ?

En somme, t'aimerais automatiser le correctif.
C'est pas impossible mais bon, faut sans doute :
1. créer un compte dédié
2. lancer sur un éventail représentatif pour être sur de ne pas faire plus de mal que de bien.

Je suis pas contre l'idée mais faut garder à l'idée que se sera du one-shot (une fois la passe faite, le script ne servira sans doute plus) et du coup à arbitrer si ça en vaut le coup.
Si tu as envie de faire, @Amiralgaby, je te retiens pas. (je pourrais t'aider si tu galères)

@Ayral : le code est en effet un taf qui ne peut pas être fait par tous.
Néanmoins, le résultat des analyses est justement dédié à tout à chacun donc tout le monde devrait être en capacité d'aider.

Dernière modification par moths-art (Le 19/12/2021, à 07:57)

moths-art · Le 19/12/2021, à 08:06

En épluchant les résultats, je tombe sur des soucis dans la doc qui nécessite un peu d'expertise.
Ex : https://doc.ubuntu-fr.org/abiword#problemes_connus

La doc conseille d'installer une police de caractères mais cette ressource n'existe plus : http://www.mozilla.org/projects/mathml/ … cm-ttf.zip
Elle doit sans doute être disponible ailleurs... mais est-ce vraiment mon job de m'en soucier ?
J'ai écris ce soft pour relever les erreurs mais je ne pourrais pas les régler à moi tout seul.
Existe-t-il au moins un endroit pour les signaler ?

Amiralgaby · Le 19/12/2021, à 11:23

Bonjour,
Il existe une liste de diffusion pour la documentation

moths-art a écrit :

[...] se sera du one-shot (une fois la passe faite, le script ne servira sans doute plus) et du coup à arbitrer si ça en vaut le coup.

Le dilemme cornélien...

Je t'avouerai qu'après mûr réflexion je ne me sens pas capable de me lancer dans ce projet, s'il y a des contributeurs qui remarque ton travail et qu'ils ont de l'énergie à dépensé ça serait magnifique

Bonne journée

moths-art · Le 19/12/2021, à 20:45

Amiralgaby a écrit :

Je t'avouerai qu'après mûr réflexion je ne me sens pas capable de me lancer dans ce projet,

Bon, j'ai fini par faire un POC rapide vu que j'aime les défis du genre (ça pourra resservir en partie) et ça marche (j'ai édité ma page de profil https://doc.ubuntu-fr.org/utilisateurs/moths-art pour éviter le flud pour l'instant).
Ca fait bien exactement ce que je veux : connexion avec un compte (créé pour l'occasion) puis édition.

Je peaufines un peu puis :
1. je mets ça sur github, ça pourra être didactique pour toi
2. je fais un test sur un cas réel dans un cadre unitaire
3. je lance sur la totalité des anomalies des urls en http et croise les doigts que tout se passe bien

moths-art · Le 20/12/2021, à 17:10

Bon, ben voilà, c'est fait @Amiralgaby !

Le script en question => https://github.com/mothsART/wiki-correc … n/to_https
Quand on le lance, on doit rentrer manuellement le login et mot de passe. (je voulais surtout pas laissé ça en dur.)
Pour un peu de sécurité, ça nécessite une action utilisateur (juste taper sur entrée à chaque fois) pour chaque page à update.... ça me permet de vérifier pas à pas que ça fonctionne bien.

J'espère que la lecture du script te seras bénéfique... (n'hésites pas si tu as des questions) le but c'est aussi que tu progresses et qu'un jour tu puisses produire ça en quelques heures tout comme moi, non ?
J'aurais pu faire mieux en me connectant une fois (là, reconnexion à chaque édition de nouvelle page) puis passage de la session aux autres appels.
Je m'en suis rendu compte trop tard et vu que c'est une one shot... c'est au final pas si grave.

PS : le script est en train de tourner... ça se voit je pense, lol : https://doc.ubuntu-fr.org/?do=recent

Dernière modification par moths-art (Le 20/12/2021, à 17:24)

moths-art · Le 20/12/2021, à 18:26

Re: Bon, j'ai du rééditer le script pour garder la connexion active... forcément, j'étais bloqué au bout d'un certain nombres de requêtes.

Amiralgaby · Le 20/12/2021, à 19:23

Bonsoir @moths-art,
C'est génial le python (et ton script) quand on y pense... Plutôt simple à lire en plus ^^

A+

moths-art · Le 20/12/2021, à 21:25

Tant mieux. En effet, le python c'est bien pour allez vite.
Je l'emploi pas pour tous les projets mais pour des scripts (surtout one-shot), je pense qu'il y a rien de mieux.

fabux · Le 20/12/2021, à 21:47

Salut,

Sur le fond bonne idée. Sauf que je reçois un mail à chaque modif ! Super pour plomber ma messagerie.
Et je ne parles même pas de celle des admins doc (dont je fais presque plus partie mais quand même).
Il serait peut-etre plus simple et rapide de traiter directement sur le /data.
Essai de contacter Krodelabestiole pour voir s'il y a moyen de faire quelque chose

Dernière modification par fabux (Le 20/12/2021, à 21:47)

Amiralgaby · Le 20/12/2021, à 23:51

C'est moi, c'est ma faute car ça à été mon idée...
Désolé

moths-art · Le 21/12/2021, à 14:26

rah, j'ai vu ton message qu'aujourd'hui et le script a tourné un moment (jusqu'à une déconnexion sans doute).
Désolé, le but n'est vraiment pas de vous pourrir la vie...

Après, pour ma défense, j'ai essayé de communiquer sur ce projet : liste de diffusion et chat.
Il reste des éditions et je vois pour le coup avec @Krodelabestiole

krodelabestiole · Le 27/12/2021, à 21:03

salut, merci pour ce script c'est super bien.

(déso moths-art je viens de voir ton mail qui était dans mes spams)

j'imagine que pour chaque lien tu vérifies bien que le https fonctionne ?

faudrait sans doute le modifier pour bosser direct sur /data, tu veux que je te l'envoies ?

sinon le plus simple serait peut-être de désactiver les emails du wiki pendant un moment...

ça pourrait t'intéresser, y a moyen de déployer une version de dev locale assez simplement
(c'est la nouvelle version qui est visible là : https://ufr-doc.crachecode.net)
j'ai mis ça là : https://gitlab.com/ubuntu-fr/code/ufr-dev-env

sinon fabux normalement si on coche la case modification mineure personne ne reçoit d'email, non ?

moths-art · Le 28/12/2021, à 12:26

Salut @krodelabestiole,

Merci pour les encouragements !
Pour chaque lien, je n'effectues le correctif que quand le site consulté proprose la redirection vers https et que ce dernier retourne une 200.

Pour /data, donne moi toutes les infos nécessaires et j'adapterais mon script.

J'ai relancé avec l'équivalent de "modification mineure", par exemple pour https://doc.ubuntu-fr.org/googleearth
Est-ce que c'est visible dans les mails ?

PS : la refonte du site à l'air top !

moths-art · Le 31/12/2021, à 13:57

Par absence de réponses, j'ai relancé le script.

fabux · Le 14/01/2022, à 12:31

Salut,

désolé pour mon retour tardif. En tout cas je ne reçois plus de message.
Et oui normalement modif mineur = pas de mail

moths-art · Le 15/01/2022, à 11:41

Ok, cool @fabux : le script est arrivé à sa fin. il restait peut-être une centaine de page à convertir et avec la modif mineur, c'était toujours ça de gagné !
C'est également un plus si je venais à créer d'autres scripts du genre.

Amiralgaby · Le 22/08/2022, à 20:53

Bonjour moths-art,

Est-ce normal que le script face des ajouts de ligne vide ?
Je pense que c'est un fonctionnement non-souhaité

moths-art · Le 23/08/2022, à 00:52

Non, bien vu. C'est moi qui ai m***é en voulant relancer le script : il ne tenait pas compte des changements précédents et envoyait des lignes. Le temps que je m'en rende compte et que je corrige, y'en avait 4, 5 en ligne...

C'est corrigé depuis.

Merci de veiller au grain.

Amiralgaby · Le 27/08/2022, à 16:58

Salut,

Juste pour dire encore merci, ce github est très bien pour voir quelques soucis des pages

Là j'ai vu il y a pas longtemps que les doubles tiret -- était substitué par un simple tiret... ce qui n'est pas forcément souhaitée

Donc en ce mettant à la racine de wiki-corrector, en lancant :

grep -F "''--" cache/*.dokuwiki

J'arrive à retrouver les pages qui devraient avoir les double tirets dans des balises à espace fixe (ça marche aussi avec les autres type de syntaxe mais pas quand c'est dans une liste je crois)

C'est purement pour du design mais bon, ça m'occupera quelque soirée

moths-art · Le 27/08/2022, à 21:37

J'ai créé des stats sur les remontés. Ca permettra d'avoir un visuel sur le reste à faire
https://github.com/mothsART/wiki-correc … n/stats.md

@Amiralgaby : pour ton cas, ne t'y attardes pas trop à faire manuellement. Je vais faire un script rapide qui automatise la détection et la correction.

Dernière modification par moths-art (Le 27/08/2022, à 22:24)

moths-art · Le 28/08/2022, à 14:50

Voilà, j'ai créé le script correctif et je l'ai fait tourner @Amiralgaby !

Amiralgaby · Le 29/08/2022, à 21:41

je suis conquis par ton travail

Il permet de faire de bonnes corrections dans la doc ^^

Heureusement, que tu as débuté ce projet

[EDIT]
n'oublies pas de changer de mot de passe si ce n'est déjà fait, il y a des curieux qui regardent les commits

Dernière modification par Amiralgaby (Le 29/08/2022, à 21:43)

moths-art · Le 29/08/2022, à 22:38

Merci @Amiralgaby pour tes encouragements !

Pour le mdp, en effet... je vais surtout passer par un fichier de conf pour utiliser mes credentials au lieu de les mettre en dur.

Amiralgaby · Le 02/09/2022, à 12:47

Bonjour moths-art,

Il y a peut-être un souci dans le remplacement des doubles tirets : la page syntaxe du wiki montre le cas des deux tirets qui forme un seul grand tiret, sauf qu'il a été corrigé par le script.

Je pense qu'on devrait éviter les pages qui sont dans le répertoire "wiki" du dossier "cache".

Sinon merci d'avoir fait tourner le script

moths-art · Le 04/09/2022, à 11:24

Je continue de dev et corriger.
J'ai pas l'impression que la notion d'espace insécable existe sous dokuwiki. En attendant, je supprime cette détection dans grammalect.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 18/12/2021, à 19:45

Re : projet wiki-corrector

#27 Le 19/12/2021, à 08:06

Re : projet wiki-corrector

#28 Le 19/12/2021, à 11:23

Re : projet wiki-corrector

#29 Le 19/12/2021, à 20:45

Re : projet wiki-corrector

#30 Le 20/12/2021, à 17:10

Re : projet wiki-corrector

#31 Le 20/12/2021, à 18:26

Re : projet wiki-corrector

#32 Le 20/12/2021, à 19:23

Re : projet wiki-corrector

#33 Le 20/12/2021, à 21:25

Re : projet wiki-corrector

#34 Le 20/12/2021, à 21:47

Re : projet wiki-corrector

#35 Le 20/12/2021, à 23:51

Re : projet wiki-corrector

#36 Le 21/12/2021, à 14:26

Re : projet wiki-corrector

#37 Le 27/12/2021, à 21:03

Re : projet wiki-corrector

#38 Le 28/12/2021, à 12:26

Re : projet wiki-corrector

#39 Le 31/12/2021, à 13:57

Re : projet wiki-corrector

#40 Le 14/01/2022, à 12:31

Re : projet wiki-corrector

#41 Le 15/01/2022, à 11:41

Re : projet wiki-corrector

#42 Le 22/08/2022, à 20:53

Re : projet wiki-corrector

#43 Le 23/08/2022, à 00:52

Re : projet wiki-corrector

#44 Le 27/08/2022, à 16:58

Re : projet wiki-corrector

#45 Le 27/08/2022, à 21:37

Re : projet wiki-corrector

#46 Le 28/08/2022, à 14:50

Re : projet wiki-corrector

#47 Le 29/08/2022, à 21:41

Re : projet wiki-corrector

#48 Le 29/08/2022, à 22:38

Re : projet wiki-corrector

#49 Le 02/09/2022, à 12:47

Re : projet wiki-corrector

#50 Le 04/09/2022, à 11:24

Re : projet wiki-corrector

Pied de page des forums