DLComix : Téléchargez des comics et des mangas du net

Karpatt · Le 15/02/2011, à 21:30

Bonsoir,

Alors j'ai ouvert le fichier ~/.dlcomix/.dl_rule et il est vide....

Je n'ai encore rien téléchargé c'est peut être pour ça...

Merci

msg_dracula · Le 15/02/2011, à 21:37

Bon, je sens que je vais faire un test de l'application car la, je suis sur Linux Mint Debian Edition.

Je fais le point et je remonte les infos

Karpatt · Le 15/02/2011, à 22:18

Si je copie tout... jai loupé le début sur l'autre post :

initialisation du téléchargement
--2011-02-15 22:16:41--  http://99.198.113.68/manga/Naruto/
Connexion vers 99.198.113.68:80... connecté.
requête HTTP transmise, en attente de la réponse... 200 OK
Longueur: non spécifié [text/html]
Sauvegarde en : «/tmp/naruto»

    [  <=>                                  ] 26'631      63.8K/s   ds 0.4s    

2011-02-15 22:17:17 (63.8 KB/s) - «/tmp/naruto» sauvegardé [26631]

Traceback (most recent call last):
  File "/usr/local/bin/dlcomix", line 5, in <module>
    pkg_resources.run_script('dlcomix==0.2', 'dlcomix')
  File "/usr/lib/python2.6/dist-packages/pkg_resources.py", line 467, in run_script
    self.require(requires)[0].run_script(script_name, ns)
  File "/usr/lib/python2.6/dist-packages/pkg_resources.py", line 1200, in run_script
    execfile(script_filename, namespace, namespace)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/EGG-INFO/scripts/dlcomix", line 3, in <module>
    main()
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/__init__.py", line 37, in main
    run_dlcomix(args.comic, args.path, args.archive, args.full, args.usecomix)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/__init__.py", line 22, in run_dlcomix
    dlcomixbase.define_host(comics,paths, archives, comix_uses,fulls)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/dlcomixbase.py", line 34, in define_host
    manga.full(comic, path, archive, comix_use)
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/manga.py", line 34, in full
    number = int(dlrule(manga, path, range_manga[1][0]))
  File "/usr/local/lib/python2.6/dist-packages/dlcomix-0.2-py2.6.egg/dlcomix/manga.py", line 55, in dlrule
    dl_rules_number=range_manga[1][0]
IndexError: string index out of range

msg_dracula · Le 15/02/2011, à 22:52

Ok, c'est bon. En fait j'avais corrigé le bug sur la version à venir qui comporte quelques évolutions intéressantes, mais j'avais oublié de faire la modif sur la version en ligne.

Le problème viens du fait que le répertoire de Naruto contenait un répertoire Chapter- sans numéro, et ça faisait planter le script.

L'upload est fait. il suffit de faire un

git pull
sudo python setup.py install

dans le répertoire contenant les sources de DLComix.

Pour la prochaine version, il y a quelques nouveautées :
- réécriture du code en POO
- utilisation d'une base de données sqlite
- possibilité d'upgrader la liste des comics
- séparation des comics de gocomics en répertoires annuels
- ajout d'une option de limite de transfert de téléchargement

Le gros du boulot est presque fini. Elle sera peut être disponible à la fin de la semaine.

Karpatt · Le 17/02/2011, à 21:31

Ca fonctionne !!!

Merci beaucoup !!!

msg_dracula · Le 17/02/2011, à 21:32

Karpatt a écrit :

Ca fonctionne !!!
Merci beaucoup !!!

C'est moi qui te remercie. Toute remontée de bug est bonne à prendre.

msg_dracula · Le 20/02/2011, à 16:53

msg_dracula a écrit :

Pour la prochaine version, il y a quelques nouveautés :
- réécriture du code en POO
- utilisation d'une base de données sqlite
- possibilité d'upgrader la liste des comics
- séparation des comics de gocomics en répertoires annuels
- ajout d'une option de limite de transfert de téléchargement

Ca y est, la nouvelle version est taggée 0.2.1, et les objectifs sont atteints, sauf la limite de transfert qui devrais arriver en cours de semaine prochaine.

Pour mettre a jour la liste des comics et manga, il suffit de faire

dlcomix --update-comic-list

Et la base de données sera mise a jour. Pour information, la liste de comics de gocomics.com passe de 160 à 379 comics

En espérant qu'il n'y ai pas de bug. Par contre pour les nom de comics, ils ont changé. Ils correspondent au format url de gocomics, c'est a dire que pour Cafe con Leche qui est a cette adresse : http://www.gocomics.com/cafeconleche, l'entrée n'est plus cafe_con_leche, mais cafeconlecche, ceci etant du au traitement automatisé.

Voila, j'espère que ceci ne vous causera pas trop de problèmes

msg_dracula · Le 04/03/2011, à 21:07

J'ai passé une semaine a préparer un début d'interface graphique pour DLComix. Au niveau des dépendances, vous aurez besoin de python-qt4

Donc pour la mise a jour, se placer dans le répertoire des sources de DLComix, et faites :

sudo apt-get install python-qt4
git pull
sudo python setup.py install

Je vous recommande par contre de lancer le programme en ligne de commande, je n'ai pas encore implanté les sorties de Wget sous forme de Widget, il va falloir que je m'y mette.

A quoi ressemble cette interface graphique ?

Fenetre principale

Fenetre préférences

Au niveau de la fenetre principale, vous pouvez mettre a jour la liste des mangas et comics disponibles et télécharger le manga et comic de votre choix avec les options adéquates.

Au niveau des préférences, bien évidemment choisir le répertoire de téléchargement, les options globales, ainsi que vos mangas et comics préférés. Que vous pourrez enlever au besoin.

Voili voilou. Bonne lecture de manga à vous !

Dernière modification par msg_dracula (Le 04/03/2011, à 21:11)

jlkawaii · Le 07/03/2011, à 13:56

Bonjour
Je suis ton projet depuis que tu en as parlé comme ça faisais quelque temps que je pensais à un projet similaire, mais ne l'avais pas testé avant hier. Donc, remonté de problème :
quand je lance dlcomix par ligne de commande, j'ai une fenêtre qui apparaît m'informant que la création de la base de donnée va prendre quelques temps. Après avoir appuyé sur [OK], j'ai un crash de l'application.

[user@machine DLComix]$ dlcomix
Initialisation de la base de données
Traceback (most recent call last):
  File "/usr/bin/dlcomix", line 5, in <module>
    pkg_resources.run_script('dlcomix==0.3', 'dlcomix')
  File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 489, in run_script
    self.require(requires)[0].run_script(script_name, ns)
  File "/usr/lib/python2.7/site-packages/pkg_resources.py", line 1214, in run_script
    exec script_code in namespace, namespace
  File "/usr/lib/python2.7/site-packages/dlcomix-0.3-py2.7.egg/EGG-INFO/scripts/dlcomix", line 4, in <module>
    import pkg_resources
  File "build/bdist.linux-x86_64/egg/dlcomix/__init__.py", line 10, in main
    #
  File "build/bdist.linux-x86_64/egg/dlcomix/dlcomix.py", line 28, in __init__
  File "build/bdist.linux-x86_64/egg/dlcomix/dlcomix.py", line 46, in init_options
  File "build/bdist.linux-x86_64/egg/dlcomix/dlcomix.py", line 137, in check_preferences
  File "build/bdist.linux-x86_64/egg/dlcomix/sqlite.py", line 15, in initialise_sqlite
  File "build/bdist.linux-x86_64/egg/dlcomix/sqlite.py", line 37, in connect
sqlite3.OperationalError: unable to open database file

Pour les infos complémentaires, j'ai compilé sous Chakra (Archlinux base) avec Python3 et toutes les librairies qui étaient disponible. Je suis à ta disposition pour des infos complémentaires .

msg_dracula · Le 07/03/2011, à 14:19

Ok. Pour information, je développe avec python 2.6. Peut être le problème vient il de la. Une première chose à vérifier, regarder si le fichier ~/.dlcomix/dlcomix.sqlite a été créé.

De plus, j'effectue des changements pour pouvoir générer des fichiers .deb, ce qui me cause quelques problèmes si on installe l'application depuis les sources. Il va falloir que je modifie quelques chose notamment au niveau de PYTHONPATH.

Par contre, je vois que le log est dans le répertoire de python 2.7 et non python3.

jlkawaii · Le 07/03/2011, à 15:26

Merci de te réponse rapide ^^.

Pour Python 2.7, c'est que j'ai testé avec la librairie installé de base (v3) ce qui n'as pas marché, puis installé la précédente diponible : la 2.7 (je n'ai pas plus ancien en version dispo)
pas de dossier /home/user/.dlcomix non plus

Si on arrive à le faire fonctionner, pourrais-je le maintenir pour Chakra avec ton accord ?

msg_dracula · Le 07/03/2011, à 15:28

jlkawaii a écrit :

Si on arrive à le faire fonctionner, pourrais-je le maintenir pour Chakra avec ton accord ?

Il n'y a aucun problèmes pour ca ! Je pense que je vais virer la méthode de création de .deb, et remettre les entête comme ils étaient. Je pense que ce sera mieux.
Je fais les test chez moi et quand le python setup.py install fonctionne a nouveau, j'upload.

[edit]
Bon, c'est réglé. Ca fonctionne de nouveau. Je verrai de mon coté pour faire des paquets d'une autre manière.

Dernière modification par msg_dracula (Le 07/03/2011, à 15:38)

jlkawaii · Le 07/03/2011, à 15:42

Merci

edit : j'ai oublié de spécifié, mais je suis en x64.

Dernière modification par jlkawaii (Le 07/03/2011, à 16:37)

msg_dracula · Le 07/03/2011, à 17:34

jlkawaii a écrit :

edit : j'ai oublié de spécifié, mais je suis en x64.

idem. Mais je pense pas que ça joue énormément, si ?

Bon, je m'attaque a la traduction de l'appli en anglais

[Edit]
C'est bon, la traduction est terminée. Anglais par défaut, français si locale fr_FR.

Dernière modification par msg_dracula (Le 07/03/2011, à 18:24)

jlkawaii · Le 07/03/2011, à 19:57

Alors même erreur que précédent, exactement le même trace. Donc avant que tu fasses quelque chose dans cette direction; je vais installer qqs autres distrib dont un ubuntu et tester voir ce que ça donne. Je te tiens au courant

Spirou · Le 08/03/2011, à 09:09

Salut, projet sympa.
Je vois que tu as commencé une interface graphique.
De mon côté, j'avais commencé à coder une interface à ton projet (en pygtk pour apprendre) mais très loin d'être aussi avancée (en fait je suis bien incapable de réaliser ce que tu as fait) que la tienne et pas tout à fait dans la même direction.

msg_dracula · Le 08/03/2011, à 14:13

Spirou a écrit :

Salut, projet sympa.
Je vois que tu as commencé une interface graphique.
De mon côté, j'avais commencé à coder une interface à ton projet (en pygtk pour apprendre) mais très loin d'être aussi avancée (en fait je suis bien incapable de réaliser ce que tu as fait) que la tienne et pas tout à fait dans la même direction.

Moi aussi j'avais commencé en pygtk. Mais je n'avais absolument pas réussi a dompter le bestiau. Et voila qu'avec PyQt, ça va à peu près tout seul. Pour l'interface graphique, tu était parti dans quelle direction ? Il y a peu être des idées a prendre...

Spirou · Le 08/03/2011, à 15:10

Voilà une capture d'écran de ce que j'ai fait :

Je n'ai implémenté que la partie comic pour le moment.

En gros, à chaque ouverture du logiciel, s'affiche un comic du jour au hasard.
La liste déroulante permet de changer (avec le bouton changer), ou de télécharger l'intégralité avec le bouton télécharger (qui afficher alorsune barre de progression)
La fenêtre se redimensionne automatiquement en fonction de l'image.

Je travaillais sur les menus pour pouvoir créer un fichier de config puis télécharger les mangas.

Voili.

msg_dracula · Le 08/03/2011, à 15:24

Sympa comme option ! J'aime bien le concept. Je pense intégrer ce genre de chose juste après.

La je viens de corriger un bug sur les téléchargements, ai rajouté une option de réinitialisation des options dans la fenetre principale.

Et je m'attaque a un léger bug sur le nom des archives.

Si tu veux continuer ton interface, il n'y a aucun problème, c'est libre ! Par contre, saches qu'il n'y a plus de fichier de configuration. Tout se passe en base de données.

Dans la table glob_prefs, tu as les paramètres full, pour le téléchargement global, archive pour créer des archives, optimise pour l'optimisation du nom des archives et path pour le répertoire de téléchargement.

Dans la table preferences, tu as name pour le nom du comic/manga, et table_ref pour la référence a la table (mangas ou comics)

Dernière modification par msg_dracula (Le 08/03/2011, à 15:36)

Fafanuclear · Le 08/03/2011, à 16:30

[abonnement] ... pour tester ça ce soir

Spirou · Le 08/03/2011, à 18:52

Je viens de regarder le code de la version 0.3...pfff çà change.
Je vais regarder çà de près. Il m'a fallu plus d'une semaine pour faire çà. Je suis pas sorti de l'auberge

Edit :
çà plante, il me dit qu'il n'a pas global_pref dans sa base de données
j'ai vu dans le todo que tu comptais remplacer wget par urllib et çà j'ai fais avec la version 0.2

Dernière modification par Spirou (Le 08/03/2011, à 19:19)

msg_dracula · Le 08/03/2011, à 21:42

En fait pour le code des fichiers *_ui.py, c'est assez simple. Il suffit de créer le fichier .ui avec Qt4 Designer, et ensuite faire

 pyuic -o fichier.py fichier.ui

Cela va te créer automatiquement le fichier. Ensuite tu n'a plus qu'a importer le fichier .py ainsi créé, et faire tes connections de slots.

Pour les champs de base de données, regarde le fichier sqlite.py. Personnellement, j'utilise SQLite manager, un plugin pour firefox pour visualiser la base : https://addons.mozilla.org/fr/firefox/a … e-manager/

[edit] Pour ta solution er urllib, ça m'interesse ...

Dernière modification par msg_dracula (Le 08/03/2011, à 21:53)

Ubuntu1988 · Le 08/03/2011, à 21:50

Pas mal ton appli, moi qui suis fan de comic depuis tout gamin, je te tire mon chapeau

Spirou · Le 09/03/2011, à 09:03

Même chose, j'utilise SQlite Manager aussi.

J'ai utilisé urllib2 et shutil
par exemple, pour la fonction parse_comic çà donne

import urllib2
import shutil

headers = { 'User-Agent' : 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)' }
....
req = urllib2.Request(self.url,headers = headers)
response = urllib2.urlopen(req)
source = response.read()

et dans single_dl

req = urllib2.Request(self.lastItem[0],headers = headers)
response = urllib2.urlopen(req)
mon_image = open(image,'wb')
shutil.copyfileobj(response.fp,mon_image)
mon_image.close()

Il faut absolument un header pour le site, car sans, la requête renvoie une erreur 500.
Avec le module urllib, je n'ai pas trouvé comment passer ce header d'où urllib. Il y a peut-être aussi la possibilité de parser directement avec urllib2 mais je ne sais pas.

Voilà

msg_dracula · Le 09/03/2011, à 11:28

Ok, merci pour ce bout de code. Par contre, pour les mangas, j'enregistre les liens des images dans un fichier (pour l'instant), et je lance plusieurs téléchargement parallèles dont le nombre est défini dans la variable self.limit par défaut à 10.

os.system("cd "+self.pathDl+" && cat /tmp/"+self.manga+" | xargs -n 1 -P "+str(self.limit)+" wget -nv -c -t 5")

Il va peut être falloir que je passe à QThread si je souhaite utiliser urllib en lieu et place de Wget

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 15/02/2011, à 21:30

Re : DLComix : Téléchargez des comics et des mangas du net

#27 Le 15/02/2011, à 21:37

Re : DLComix : Téléchargez des comics et des mangas du net

#28 Le 15/02/2011, à 22:18

Re : DLComix : Téléchargez des comics et des mangas du net

#29 Le 15/02/2011, à 22:52

Re : DLComix : Téléchargez des comics et des mangas du net

#30 Le 17/02/2011, à 21:31

Re : DLComix : Téléchargez des comics et des mangas du net

#31 Le 17/02/2011, à 21:32

Re : DLComix : Téléchargez des comics et des mangas du net

#32 Le 20/02/2011, à 16:53

Re : DLComix : Téléchargez des comics et des mangas du net

#33 Le 04/03/2011, à 21:07

Re : DLComix : Téléchargez des comics et des mangas du net

#34 Le 07/03/2011, à 13:56

Re : DLComix : Téléchargez des comics et des mangas du net

#35 Le 07/03/2011, à 14:19

Re : DLComix : Téléchargez des comics et des mangas du net

#36 Le 07/03/2011, à 15:26

Re : DLComix : Téléchargez des comics et des mangas du net

#37 Le 07/03/2011, à 15:28

Re : DLComix : Téléchargez des comics et des mangas du net

#38 Le 07/03/2011, à 15:42

Re : DLComix : Téléchargez des comics et des mangas du net

#39 Le 07/03/2011, à 17:34

Re : DLComix : Téléchargez des comics et des mangas du net

#40 Le 07/03/2011, à 19:57

Re : DLComix : Téléchargez des comics et des mangas du net

#41 Le 08/03/2011, à 09:09

Re : DLComix : Téléchargez des comics et des mangas du net

#42 Le 08/03/2011, à 14:13

Re : DLComix : Téléchargez des comics et des mangas du net

#43 Le 08/03/2011, à 15:10

Re : DLComix : Téléchargez des comics et des mangas du net

#44 Le 08/03/2011, à 15:24

Re : DLComix : Téléchargez des comics et des mangas du net

#45 Le 08/03/2011, à 16:30

Re : DLComix : Téléchargez des comics et des mangas du net

#46 Le 08/03/2011, à 18:52

Re : DLComix : Téléchargez des comics et des mangas du net

#47 Le 08/03/2011, à 21:42

Re : DLComix : Téléchargez des comics et des mangas du net

#48 Le 08/03/2011, à 21:50

Re : DLComix : Téléchargez des comics et des mangas du net

#49 Le 09/03/2011, à 09:03

Re : DLComix : Téléchargez des comics et des mangas du net

#50 Le 09/03/2011, à 11:28

Re : DLComix : Téléchargez des comics et des mangas du net

Pied de page des forums