DLComix : Téléchargez des comics et des mangas du net

msg_dracula · Le 18/12/2010, à 15:03

Bonjour,

J'avais découvert il y a quelques temps l'application Dailystrips permettant de récupérer des comics. Cependant cette application écrite en Perl n'est plus mise à jour depuis 2003.

Souhaitant me mettre sérieusement à python (J'en était qu'a quelques scripts très basiques), je me suis mis hier à coder DLComix. La page officielle de DLComix
Pour l'instant, rien de transcendant en une journée :
- Création d'un setup pour l'installer avec les dépendances
- Téléchargement de la dernière image d'un comic sur gocomics.com
- crop de l'image pour enlever le logo de gocomic en bas de l'image

Reste à faire énormément de choses. Pour les plus urgentes :
- Utilisation d'un fichier de config pour sélectionner une liste de comics et les télécharger en une fois
- Gérer des archives pour l'utilisation en tant qu'albums dans Comix
- Possibilité de télécharger l'intégralité d'une série en une fois
- Et bien sur gérer bien plus de comics !! (pour l'instant ......... 7 )

Installation
Les sources de DLComix sont disponibles sur Github. Pour l'installer, vous aurez donc besoin du paquet git-core. S'il n'est pas installé, faites

sudo apt-get install git-core

Ensuite, placez vous dans le dossier ou vous voulez mettre les sources, /usr/local par exemple et faites :

git clone https://github.com/Freeculture/DLComix.git

Pour l'installation en elle même, procédez comme suis

sudo python setup.py install

Et voilà dlcomix est installé sur votre machine

Téléchargez votre première planche

Pour l'instant, DLComix propose cinq options :

-c ou --comic
Précise le comic que vous souhaitez télécharger. Lu liste de comic disponible est dans le fichier List_of_Comics
-p ou --path
Optionel Le chemin de téléchargement des fichiers. S'il n'est pas spécifié DLComix les enverra dans le répertoire ~/.dlcomix/download
-a ou --archives
Optionel Si vous voulez que DLComix créé des archives pour vous
-f ou --full
Optionel Pour télécharger toutes les images d'un comic
-u or --usecomix
Optionnel Cette option renomme les archives pour une meilleure intégration avec Comix. Par défaut, le nom des archives est Chapter-9.tar.gz, Chapter-10.tar.gz
et Comix place l'archive Chapter-10 avant Chapter-9. Avec cette option Chapter-9 deviens Chapter-09

Un premier exemple

Supposons que vous vouliez la dernière planche de Garfield. Faites simplement

dlcomix -c garfield

Et voila le résultat !

Au passage, vous remarquerez que DLComix a enlevé le bandeau Gocomic que vous avez quand vous téléchargez l'image

Utilisation d'un fichier de configuration
Vous pouvez utiliser un fichier de configuration qui sera enregitré dans ~/.dlcomix et dont le nom sera config.py

Exemple de fichier de configuration

PATH = "/home/guillaume/Images/comix"
COMICS = ('garfield',
                 'bloom_county',)
ARCHIVE = True
FULL = True

A partir de là, en tapant

dlcomix

vous téléchargez l'intégralité de garfield et bloomcounty et créez des archives.

Voilà. Si certaines personnes sont interessées par le projet, n'hésitez pas soumettre vos codes sous Github

Dernière modification par msg_dracula (Le 25/02/2011, à 14:17)

msg_dracula · Le 20/12/2010, à 10:42

Le développement suis son cours.
Au niveau des nouveautés :
- La prise en charge d'un fichier de configuration.
Celui ci doit être placé dans ~/.dlcmoix/config.py
- L'optimisation de la gestion des archives
Comme dit plus haut, je souhaite gérer des archives pour les utiliser avec des logiciels comme Comix
Toutes les archives sont présentes dans le répertoire ~/.dlcomix/archives

Dernière modification par msg_dracula (Le 20/12/2010, à 10:43)

msg_dracula · Le 21/12/2010, à 22:49

Une des fonctionnalités les plus importantes est implantée. Le téléchargement de la série complète d'un comic. De plus, j'ai fais un peu le ménage dans le code surtout un niveau du __init.py__

Pour télécharger la série complète il suffit de faire

dlcomix -c garfield -f True

Il faut juste que je trouve comment valider la commade avec un booléen et non une chaine

Ou alors simplement avoir on fichier ~/.dlcomix/config.py comme celui ci

COMICS = ('garfield',
        'bloom_county',)
ARCHIVE = True
FULL = True

et de lancer la commande

dlcomix

Pour information, la ligne de commande est prioritaire sur le fichier de configuration.

msg_dracula · Le 01/01/2011, à 14:17

Le script a été amélioré. Dans le cas de certains comics (de nombreux même, il n'y a pas de publication tous les jours, et DLComix se basait uniquement sur les fichiers contenus dans les archives.

Le programme reprenait donc les dates une par une, même s'il y avait une seule publication par semaine. Maintenant, il enregistre la dernière date traitée pour le comic, et ne reprend qu'a celle ci, ce qui permet plus facilement de faire le téléchargement d'une série complète en multi-sessions

msg_dracula · Le 02/01/2011, à 17:49

DLComix gère maintenant mieux les archives. Les archives avaient un poids conséquent avec de grosses séries.

Maintenant le logiciel créé des archives annuelles pour réduire le poids de celles ci.

msg_dracula · Le 03/01/2011, à 02:09

Je viens de finir un premier jet d'intégration de comics. A l'heure actuelle, 160 comics sont disponibles.

La liste, c'est celle ci : http://freeculture.homelinux.com/pages/ … omics.html

J'ai plus qu'a faire de la doc en conséquence !

Dernière modification par msg_dracula (Le 03/01/2011, à 12:27)

TraGiKomiK · Le 03/01/2011, à 21:26

bonjour,

je met cette page en favoris pour tester des que j'en ai la possibilité je suis en connection 3G permanente

J'apporterai mes retours des que possible Ca m'interesse vraiment tout ca

msg_dracula · Le 04/01/2011, à 02:49

Tous les retours d'expérience sont les bienvenus.

J'espère que ce petit soft te plaira

TraGiKomiK · Le 05/02/2011, à 17:02

Bonjour,

Alors je viens de telecharger les sources et je suis face a cette erreur lors de l'install (source telecharger en tar.gz car depuis git cela ne marche pas):

sudo python setup.py install
Traceback (most recent call last):
  File "setup.py", line 1, in <module>
    from setuptools import setup
ImportError: No module named setuptools

N'y connaissant rien en python....

kyncani · Le 05/02/2011, à 17:12

Je dirais, installe le package python-setuptools ?

msg_dracula · Le 05/02/2011, à 17:40

kyncani a écrit :

Je dirais, installe le package python-setuptools ?

C'est exactement ça.

Bon, quelques nouveautés aujourd'hui :
- Correction de bug au niveau des archives. Des fichiers archives pouvaient être tout simplement vidé de leurs contenus. Fixed
- Amélioration du parsing des pages. Ne va plus sur des pages n'ayant pas de planche de comics. DLComix parcourait les pages en incrémentant d'un jour ce qui engendrait un traitement inutile s'il n'y avait qu'une planche postée par semaine environ.

J'ai modifié la procédure d'installation dans le post initial, je m'étais trompé d'adresse de dépot git. J'avais mis l'adresse privée et non la publique. Ça devrait fonctionner maintenant.

Dernière modification par msg_dracula (Le 05/02/2011, à 17:45)

TraGiKomiK · Le 06/02/2011, à 08:55

Je dirais, installe le package python-setuptools ?

merci

Alors effectivement le depot Git marche mieux Me reste plus qu'a attendre d'avoir de nouveau une connexion "correcte" pour lancer les DL. Je posterai un retour ici apres ca

msg_dracula · Le 06/02/2011, à 11:52

Ok, c'est cool.

Je m'attaque au téléchargement de manga via mangathat. Y'a une collection assez impressionnante.
Je sens que je vais m'amuser a rentrer la liste de manga ....
Y'a qu'a regarder ici ce que ça donne : http://99.198.113.68/manga

Dernière modification par msg_dracula (Le 06/02/2011, à 11:53)

msg_dracula · Le 07/02/2011, à 02:43

L'implantation des mangas est faite. Enfin, pour l'instant seulement Naruto.

Le systeme est un peu différent au niveau du parametre full. Si vous ne l'utilisez pas et faites

dlcomix -c naruto -a

DLComix vous téléchargera le premier chapitre et fera une archive, ce qui rend l'utilisation tres simple avec Comix. (Il y en a actuellement 526 pour Naruto.)

Si vous relancez ensuite la commande précédente, DLComix téléchargera le deuxième chapitre, et ainsi de suite. Cela vous permet donc de télécharger à la demande. Bien évidemment, vous pouvez faire

dlcomix -c naruto -a -f

et la, le script téléchargera les 526 volets d'un coup.

J'en ai profité pour séparer le code en plusieurs fichiers. J'espère que cette manipulation ne causera pas de problémes. J'ai effectué des test, mais ça a l'air d'etre bon.

Voila, j'ai plus qu'a rentrer dans la base la liste complète de manga. Vais m'amuser tiens !

TraGiKomiK · Le 07/02/2011, à 09:45

re,

Tres interessant la fonction qui permet de telecharger chapitre par chapitre, surtout tres pratique

Alors impressionnant effectivement cette liste de mangas Par contre tout en anglais

Ce qui m'amane a une question: N'ayant pas pu encore DL un comic, sont ils tous en anglais?

[EDIT] A oui: La page officielle de DLComix n'est plus accessible

Dernière modification par TraGiKomiK (Le 07/02/2011, à 09:48)

msg_dracula · Le 07/02/2011, à 13:47

TraGiKomiK a écrit :

Ce qui m'amane a une question: N'ayant pas pu encore DL un comic, sont ils tous en anglais?

oui tout est en anglais. A vrai dire, je connais pas vraiment de sites français la dessus, mais je suis preneur

Dernière modification par msg_dracula (Le 07/02/2011, à 13:47)

msg_dracula · Le 10/02/2011, à 00:48

Bon, je viens d'intégrer la liste des mangas. 1877 séries de mangas sont donc disponible !

Il faut que je fasse une liste des mangas, mais pour les plus impatient, vous pouvez aller voir la liste sur le dépot github : https://github.com/Freeculture/DLComix/ … ga_list.py

Le principe est le meme que pour les comics. Voici une ligne exemple du fichier.

'bleach':['http://99.198.113.68/manga/Bleach/'],

il suffit donc de faire dlcomix -c bleach pour télécharger bleach.

illovae · Le 10/02/2011, à 23:24

Salut,

désolé je n'y connais strictement rien à Python. Cependant j'ai un souci ici, n'étant pas sûr que cela vienne de moi, voici un petit bugreport.

- git clone fait le 10 février à 11H15
- python 2.6
- pysetuptools version 0.6C11

Voici la sortie de mon installation : http://paste.ubuntu-fr-secours.org/src-98283

Et voici la sortie d'un dlcomix -h : http://paste.ubuntu-fr-secours.org/src-98285

Voilà en espérant que le problème ne vienne que de moi...

Merci et bon courage.

msg_dracula · Le 10/02/2011, à 23:53

Merci pour cette remontée d'information. Le problème viens apparemment du setup.py qui n'est pas très optimisé pour linux.

Va falloir que j'arrange ça. Fait un

sudo apt-get install python-argparse

Ça devrais résoudre le problème.

Merci pour la remontée de bug.

msg_dracula · Le 12/02/2011, à 23:21

Quelques changements pour aujourd'hui. Le téléchargement a été optimiser pour faire le téléchargement des images en parallèle, ce qui divise presque par deux le téléchargement d'une série complète.

Les archives sont optimisées pour une utilisation avec le logiciel Comix. Par défaut, le nom des archives est Chapter-9.tar.gz, Chapter-10.tar.gz et Comix place l'archive Chapter-10 avant Chapter-9. Avec cette option Chapter-9 deviens Chapter-09 ce qui permet d'avoir les chapitres dans le bon ordre dans la bibliothèque

illovae · Le 14/02/2011, à 22:32

Salut,

j'ai installé argparse version 1.1 pour python 2.6 (présent avec son .pyc dans

/usr/lib/python2.6/site-packages/

et toujours le même problème. Il doit toujours me manquer quelque chose, je vais continuer mes recherches

Karpatt · Le 14/02/2011, à 23:08

bonsoir,

j'ai installé DLComix et lors que je lance :

dlcomix -c naruto -a -f

Il me marque cela.. :

Traceback (most recent call last):
  File "/usr/local/bin/dlcomix", line 5, in <module>
    pkg_resources.run_script('dlcomix==0.2', 'dlcomix')
  File "/usr/lib/python2.6/dist-packages/pkg_resources.py", line 467, in run_script
    self.require(requires)[0].run_script(script_name, ns)
  File "/usr/lib/python2.6/dist-packages/pkg_resources.py", line 1200, in run_script
    execfile(script_filename, namespace, namespace)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/EGG-INFO/scripts/dlcomix", line 3, in <module>
    main()
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/__init__.py", line 37, in main
    run_dlcomix(args.comic, args.path, args.archive, args.full, args.usecomix)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/__init__.py", line 22, in run_dlcomix
    dlcomixbase.define_host(comics,paths, archives, comix_uses,fulls)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/dlcomixbase.py", line 34, in define_host
    manga.full(comic, path, archive, comix_use)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/manga.py", line 34, in full
    number = int(dlrule(manga, path, range_manga[1][0]))
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/manga.py", line 55, in dlrule
    dl_rules_number=range_manga[1][0]
IndexError: string index out of range

Ai-je fais un erreur ?

msg_dracula · Le 15/02/2011, à 02:06

illovae a écrit :

Salut,
j'ai installé argparse version 1.1 pour python 2.6 (présent avec son .pyc dans
/usr/lib/python2.6/site-packages/
et toujours le même problème. Il doit toujours me manquer quelque chose, je vais continuer mes recherches

Personnellement, mon fichier argparse.py et pyc sont dans

/usr/local/lib/python2.6/dist-packages/

En espérant que cela puisse t'aider

msg_dracula · Le 15/02/2011, à 02:18

Karpatt a écrit :

bonsoir,

j'ai installé DLComix et lors que je lance :

dlcomix -c naruto -a -f

Il me marque cela.. :

Traceback (most recent call last):
  File "/usr/local/bin/dlcomix", line 5, in <module>
    pkg_resources.run_script('dlcomix==0.2', 'dlcomix')
  File "/usr/lib/python2.6/dist-packages/pkg_resources.py", line 467, in run_script
    self.require(requires)[0].run_script(script_name, ns)
  File "/usr/lib/python2.6/dist-packages/pkg_resources.py", line 1200, in run_script
    execfile(script_filename, namespace, namespace)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/EGG-INFO/scripts/dlcomix", line 3, in <module>
    main()
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/__init__.py", line 37, in main
    run_dlcomix(args.comic, args.path, args.archive, args.full, args.usecomix)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/__init__.py", line 22, in run_dlcomix
    dlcomixbase.define_host(comics,paths, archives, comix_uses,fulls)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/dlcomixbase.py", line 34, in define_host
    manga.full(comic, path, archive, comix_use)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/manga.py", line 34, in full
    number = int(dlrule(manga, path, range_manga[1][0]))
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/manga.py", line 55, in dlrule
    dl_rules_number=range_manga[1][0]
IndexError: string index out of range

Ai-je fais un erreur ?

Personnellement j'ai le même message d'erreur quand je suis obligé de couper le script quand le serveur distant est a la ramasse.

Peut tu me montrer la section naruto du fichier ~/.dlcomix/.dl_rule ?

Il me cause quelque fois des petits soucis ce fichier. De ce fait, je réécrit entièrement le code pour passer en Poo et j'en profite pour mettre en place un traitement avec une base de donnée sqlite.
Ca devrait minimiser les problèmes.

Karpatt · Le 15/02/2011, à 12:19

msg_dracula a écrit :

Personnellement j'ai le même message d'erreur quand je suis obligé de couper le script quand le serveur distant est a la ramasse.
Peut tu me montrer la section naruto du fichier ~/.dlcomix/.dl_rule ?
Il me cause quelque fois des petits soucis ce fichier. De ce fait, je réécrit entièrement le code pour passer en Poo et j'en profite pour mettre en place un traitement avec une base de donnée sqlite.
Ca devrait minimiser les problèmes.

Je suis au boulot.. mais je vous envoie ca dès que je rentre ce soir.

Merci

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 18/12/2010, à 15:03

DLComix : Téléchargez des comics et des mangas du net

#2 Le 20/12/2010, à 10:42

Re : DLComix : Téléchargez des comics et des mangas du net

#3 Le 21/12/2010, à 22:49

Re : DLComix : Téléchargez des comics et des mangas du net

#4 Le 01/01/2011, à 14:17

Re : DLComix : Téléchargez des comics et des mangas du net

#5 Le 02/01/2011, à 17:49

Re : DLComix : Téléchargez des comics et des mangas du net

#6 Le 03/01/2011, à 02:09

Re : DLComix : Téléchargez des comics et des mangas du net

#7 Le 03/01/2011, à 21:26

Re : DLComix : Téléchargez des comics et des mangas du net

#8 Le 04/01/2011, à 02:49

Re : DLComix : Téléchargez des comics et des mangas du net

#9 Le 05/02/2011, à 17:02

Re : DLComix : Téléchargez des comics et des mangas du net

#10 Le 05/02/2011, à 17:12

Re : DLComix : Téléchargez des comics et des mangas du net

#11 Le 05/02/2011, à 17:40

Re : DLComix : Téléchargez des comics et des mangas du net

#12 Le 06/02/2011, à 08:55

Re : DLComix : Téléchargez des comics et des mangas du net

#13 Le 06/02/2011, à 11:52

Re : DLComix : Téléchargez des comics et des mangas du net

#14 Le 07/02/2011, à 02:43

Re : DLComix : Téléchargez des comics et des mangas du net

#15 Le 07/02/2011, à 09:45

Re : DLComix : Téléchargez des comics et des mangas du net

#16 Le 07/02/2011, à 13:47

Re : DLComix : Téléchargez des comics et des mangas du net

#17 Le 10/02/2011, à 00:48

Re : DLComix : Téléchargez des comics et des mangas du net

#18 Le 10/02/2011, à 23:24

Re : DLComix : Téléchargez des comics et des mangas du net

#19 Le 10/02/2011, à 23:53

Re : DLComix : Téléchargez des comics et des mangas du net

#20 Le 12/02/2011, à 23:21

Re : DLComix : Téléchargez des comics et des mangas du net

#21 Le 14/02/2011, à 22:32

Re : DLComix : Téléchargez des comics et des mangas du net

#22 Le 14/02/2011, à 23:08

Re : DLComix : Téléchargez des comics et des mangas du net

#23 Le 15/02/2011, à 02:06

Re : DLComix : Téléchargez des comics et des mangas du net

#24 Le 15/02/2011, à 02:18

Re : DLComix : Téléchargez des comics et des mangas du net

#25 Le 15/02/2011, à 12:19

Re : DLComix : Téléchargez des comics et des mangas du net

Pied de page des forums