[script] Télécharger de nombreuses quotidiennes de canal+ (suite)

elteror · Le 01/11/2009, à 16:35

pas mal pour le script en version graphique !
c 'est pratique de pouvoir dl les vidéos pour les regarder apres !

->pour la version graphique, serait t-il possible de pouvoir suivre l'avacement du téléchargement avec une barre de progression ???

merci !

Dernière modification par elteror (Le 01/11/2009, à 16:41)

elteror · Le 01/11/2009, à 22:31

Voici un script qui renomme et range les épisodes par emission

#!/bin/bash

DOWNLOAD_FOLDER=/home/${USER}/canal

cd $DOWNLOAD_FOLDER
#suppression des caractères indésirés
rename 's/EMISSION//' *.flv
rename 's/_CAN_......_video_.//' *.flv
rename 's/_AUTO_...._..._video_.//' *.flv
rename 's/_/ /g' *.flv

#rangement par émission
#La Météo de Pauline Lefevre
if [ ! -d La\ Météo\ de\ Pauline\ Lefevre ] && [ -e *METEO*.flv ]
then
{
	mkdir La\ Météo\ de\ Pauline\ Lefevre
	mv *METEO*.flv La\ Météo\ de\ Pauline\ Lefevre/
}
fi

#Groland
if [ ! -d Groland ] && [ -e GROLAND*.flv ]
then
{
	mkdir Groland
	mv GROLAND*.flv Groland/
}
fi

#Les Guignols
if [ ! -d Les\ Guignols\ De\ L\'Info ] && [ -e *GUIGNOLS*.flv==1 ]
then
{
	mkdir Les\ Guignols\ De\ L\'Info
	mv *GUIGNOLS*.flv Les\ Guignols\ De\ L\'Info/
}
fi

#SAV
if [ ! -d SAV ] && [ -e SAV*.flv ]
then
{
	mkdir SAV
	mv SAV*.flv SAV/
}
fi

#ZAPPING
if [ ! -d Le\ Zapping ] && [ -e ZAPPING*.flv ]
then
{
	mkdir Le\ Zapping
	mv ZAPPING*.flv Le\ Zapping/
}
fi

#Tetes a Claques
if [ ! -d Les\ Têtes\ à\ Claques ] && [ -e TETES*.flv ]
then
{
	mkdir Les\ Têtes\ à\ Claques
	mv TETES*.flv Les\ Têtes\ à\ Claques/
}
fi

#Salut Les Terriens
if [ ! -d Salut\ Les\ Terriens ] && [ -e SALUT*.flv ]
then
{
	mkdir Salut\ Les\ Terriens
	mv SALUT*.flv Salut\ Les\ Terriens/
}

exit 0

merci à rniamo pour m'avoir corrigé sur la gestion des noms de fichiers
par contre j'ai un problème pour les guignols et la météo de Pauline Lefevre !!!

Dernière modification par elteror (Le 01/11/2009, à 22:35)

Bazoo · Le 02/11/2009, à 19:18

Salut à tous !

Comme ces scripts évoluent tout le temps pour s'adapter aux caprices du site de Canal+, pourquoi ne pas monter un projet plus sérieux, faire des .deb et créer un dépot (PPA ou autre)
Ça pourrait rendre service à beaucoup de gens.

Je propose qu'on unissent nos effort pour développer un script de bonne qualité, utilisable 100% en ligne de commande (avec des arguments) comme ça on pourrait ensuite développer une interface graphique qui s'appuierait sur ces lignes de commandes.

Je peux apporter ma pierre pour héberger le projet, faire des paquets deb, écrire du code en bash ou faire l'interface graphique avec gtk-dialog. Par contre je ne sait pas comment ça se passe pour ouvrir un PPA.

Si il y a des gens motivés, n'hésitez pas à me contacter ici ou en MP.

A+

Dededede4 · Le 02/11/2009, à 21:45

Et pour Pépites du net ?

franco12 · Le 04/11/2009, à 22:13

merci olaf et les autres pour vos scripts

Dernière modification par franco12 (Le 04/11/2009, à 22:14)

olaf.10 · Le 06/11/2009, à 20:41

Bonjour à tous,

La version 0.5 est dispo! J'ai pris en compte quelques idées de elteror et Uglycharly (merci à vous) :

elteror a écrit :

serait t-il possible de pouvoir suivre l'avacement du téléchargement avec une barre de progression ?

Bonne nouvelle: j'ai ajouté une barre de progression (soyez indulgents, je peux pas faire mieux que ça pour l'instant).

Uglycharly a écrit :

- modifier la date ext3 du fichier pour que ça colle avec la date de diffusion

C'est fait, par contre il ne faut pas interrompre le programme sinon le changement de date se fait pas.

Uglycharly a écrit :

- avertir qu'une nouvelle version du script est disponible

C'est fait aussi .

@Bazoo

Bazoo a écrit :

Je propose qu'on unissent nos effort pour développer un script de bonne qualité, utilisable 100% en ligne de commande (avec des arguments) comme ça on pourrait ensuite développer une interface graphique qui s'appuierait sur ces lignes de commandes.

C'est pas facile de travailler à plusieurs et à distance, mais, oui ça peut être sympa comme projet; le réel frein à tout ça, c'est que si canal change à nouveau son système, tout le travail fourni est perdu, et ça c'est vraiment pas cool.
Ceci mis à part... le top du top, se serait d'écrire un programme en langage C, non ? (je précise tout de suite que j'y connais rien en C )

A+

Dernière modification par olaf.10 (Le 06/11/2009, à 21:05)

Uglycharly · Le 06/11/2009, à 23:32

Ca claque ! Bien sympa tout ça ! Merci pour les dates !

Hmm possible de filtrer la liste de radio button en retirant ce qui est déjà sur le répertoire de destination ? Et si possible classer les listes par émission et par date (mais pas évident car visiblement les noms changent souvent et il reste des vieux fichiers parfois)

Je comprends pas le code ! Va falloir que je m'y mette sérieux ! 6100 lignes t'as pas chômé !

Trop sympa aussi le système de mise à jour ! vivement la prochaine

Dernière modification par Uglycharly (Le 06/11/2009, à 23:37)

sputnick · Le 07/11/2009, à 20:35

Salut,

je me suis permis de faire une version CLI en perl qui me semble plus adaptée, notamment pour le traitement du XML et des regexps.
Vous le trouverez ici : http://www.sputnick-area.net/scripts/canal+dl.pl

Il est basé sur le script sh de pronoiaque, il gère l'historique en testant si le fichier flv existe deja, il utilise un repertoire different pour chaque programme.
J'ai essayé de faire qq chose d'épuré ( sans outrance ) et de fiable.
Il faut juste renseigner les variables et créer un répertoire s'il n'existe pas déjà.

wget http://www.sputnick-area.net/scripts/canal+dl.pl
chmod +x canal+dl.pl
./canal+dl.pl

N'hésitez pas à me faire des retours.

++, sputnick.

il faut installer le module perl XML::Simple :

sudo aptitude install libxml-simple-perl

Surtout si vous avez une erreur perl :

Can't locate XML/Simple.pm in @INC

Dernière modification par sputnick (Le 01/02/2010, à 03:45)

bluelemon · Le 10/11/2009, à 13:36

ola,

il faudrait diviser le projet en 3 parties : parser , telechargement , interface

parser : parse les pages de canal
si canal change son site seule cette partie est a modifier
le resultat est mis dans un format standard qui ne change pas (emmission, date, url)
et peut etre publie sur une url ex: http://omx.ch/om/cplus/

telechrgement : telecharge les emissions en s'appuyant sur le resultat du parser et de ce qui a deja ete telecharge en local

4 scripts : 1 par partie + 1 script principal utilisant ou pas l'interface

Dernière modification par bluelemon (Le 10/11/2009, à 13:51)

Bazoo · Le 11/11/2009, à 20:26

@Olaf.10 et @Bluelemon : Je pense qu'on peut s'organiser pour travailler à plusieurs et à distance, il y pleins d'outils disponibles pour ça.

Comme le site de Canal change souvent, j'avais la même idée que celle soumise par Bluelemon qui est de séparer la partie du code qui traite les url afin de s'adapter facilement aux changement du site de Canal sans tout avoir à refaire à chaque fois.

Pour ce qui est du langage à utiliser, mes connaissances sont très limités mais il me semble que Perl ou Bash sont plutôt bien adaptés à ce genre de cas.

Qu'en pensez vous ? Est-ce que ça vous tente de former une petite équipe et de démarrer ce petit projet tranquillement ?

bluelemon · Le 12/11/2009, à 19:15

yep,
comme cpas un truc bien complique, en bash cbien
quel site peut-on utiliser ? code.google.com ?
des idess pr le nom du projet ?

Dernière modification par bluelemon (Le 12/11/2009, à 19:17)

Bazoo · Le 13/11/2009, à 19:40

Salut !

Pas encore d'idée pour le nom du projet mais je vais y réfléchir...

Google Code semble bien mais que penses tu de launchpad.net ?
Je n'ai jamais utilisé ni l'un ni l'autre mais il me semble que Launchpad permet également d'héberger un dépôt PPA, ce qui pourra s'avérer pratique dans un second temps...

Donc, étape 1 :
- Lire les conditions d'utilisation du site de canal pour être s'assurer qu'un tel projet (même petit) est 100% légal. (Je pense que si on n'utilise pas de références à la marque Canal, y a aucun problème à télécharger les vidéos puisque de toute manière, regarder une vidéo en streaming revient à la télécharger...)
- Idée de nom pour le projet
- Choix de la plateforme

Je ne vais pas avoir beaucoup de temps libre durant les deux prochaines semaines mais après ça aucun problème...

bluelemon · Le 22/11/2009, à 00:28

ola,

alors dapres ce que jai vu :
launchpad n'heberge pas de serveur subversion, googlecode oui
launchpad permet de creer des depots a partir dune adresse subversion
on peut donc heberger le code et les fichiers sur le subversion de googlecode et utiliser celui-ci pour faire un depot avec launchpad

jai commence a faire un truc : http://code.google.com/p/gagoo/
(javais pas d'idee pour le nom mais comme yen fallait un )

installation :

cd ~
wget http://gagoo.googlecode.com/files/gagoo-1.0.tar
tar -xf gagoo-1.0.tar

eventuellement :
chmod +x .gagoo/gagoo .gagoo/lib/util/*

utilisation :

> .gagoo/gagoo

au premier lancement recupere les emissions disponibles sur le serveur et ce qu'il faut pour les telecharger (conf des emissions et scripts de parsage & dlage)

decommenter du fichier subscritpions les emissions auxquels on veut s'abonner
dans le fichier conf on peut preciser le repertoire de telechargement, si l'on veut recuperer tous les episodes ou juste le dernier ainsi que le nombre de video a garder
chaque emission a un fichier de conf emissions/.../conf ou l'on peut redefinir ce quil ya dans la conf general

relancer pour telecharger

----

options :
-U : maj des emissions
-u : recherche des episodes
-d : telechargement
-c : fait le menage
rien : enchaine les 4

REF/version : http://gagoo.googlecode.com/svn/trunk/REF/version
liste des emissions disponibles avec les infos pour les telecharger,
c'est ce fichier quil faut modifier pour indiquer quil y a eu des changements
une ligne par emission, 4 colonnes :
1) id de lemission
2) le nom du script qui assure le parsage des pages (independant ou non de lemission)
3) le nom du fichier de parametre a passer au parser (depend de l'emission)
4) le nom du script qui assure le telechargement (depend du format flv, mms, ...)

REF/scripts/parser : http://code.google.com/p/gagoo/source/b … pts/parser
contient les scripts qui parse les pages
actuellement : canal-1.0 et canal_multipart-1.0 ( pour les emissions en plusieurs parties comme le grand journal ou salut les terriens )

voila voila, c un premier truc, c'est assez general et ca peut etre applique a dautre chaines,
il suffit decrire un script de parsage, une conf demission et de poster ca sur le serveur
il faudra modifier en fonction de l'usage que lon veut en donner et de l'interface qui peut suivre et trouver un nom de nom

biz

Dernière modification par bluelemon (Le 22/11/2009, à 00:49)

sweetly · Le 22/11/2009, à 00:47

Vous avez un dépôt git ou svn ?

BorX · Le 22/11/2009, à 01:37

Super !

Les propositions de découper ce script en parties fonctionnelles étaient prometteuses, et les initiatives de partages par des dépôts SVN publics vont dans le bon sens !

Voilà un moment que je suis les projets de dl d'Arte et de C+.
Ces nouvelles actions me motivent particulièrement et je serais ravi si je pouvais y contribuer en mettant la main à la pâte !

J'ai rapidement regardé le code, il me paraît clair, bien présenté, il y a de (très) bonnes idées, et il est très agréable de consulter le code (même si l'absence de commentaires laisse présager un code qui va pas tarder à changer ), notamment grâce à un découpage qui lui permettra en outre d'évoluer facilement.

Je m'amuse avec un peu dans mon coin, et je vous ferai part de mes remarques qui vous intéresseront certainement (bonne expérience des scripts Shell et du développement en général).
Je ne commiterai rien directement sur SVN sans votre aval.

A bientôt

bluelemon · Le 22/11/2009, à 04:17

j'avais un vieux parser pour arte, du coup jai ajoute des emissions

il faut mimms, les emissions sont dispos en flv mais jarrive pas a les dl avec flvstreamer

il faudrait revoir le parser, c un peu le bordel, et il n'a pas lair de marcher pour lart et la maniere peut etre a cause du e accentue

BorX · Le 26/11/2009, à 17:21

Salut !

Après quelques jours que j'ai dû consacrer à des événements dont je me serais bien passé, je me suis remis sur le Gagoo Code

Je ne cacherai pas que j'ai un certain nombre de questions/remarques, de conseils sur la syntaxe, de propositions pour la suite, etc...
Reste à m'organiser un peu, sachant que je ne vois pas encore trop le moyen le plus simple d'en discuter. Je vais certainement rajouter mes remarques sous forme de commentaires au sein même du code, et j'enverrai ensuite un tarball. Tu pourras dès lors comparer mes modifs à ton code pour les intégrer ou non (à coup de diff ou de meld).

Pour l'heure, je te conseille vivement de taguer la version actuelle de Gagou qui constitue, je pense, la première version stable. Cette action facilitera grandement le suivi des futures évolutions de l'application, et constitue par ailleurs la première chose à effectuer avant de créer une éventuelle branche.
Je parle déjà de branches, car le code fait lui-même référence au trunk. Or le trunk est par définition la version en cours de développement, donc la version instable de l'application. Si le code y fait référence, il est susceptible d'être instable à son tour. Une référence à une branche stable pourrait permettre de proposer des mises à jour automatiques une fois celles-ci un peu éprouvées.
Bref, j'essaierai d'être plus clair à l'avenir. Mais je renouvelle le conseil : tague la version en cours

+

bluelemon · Le 26/11/2009, à 23:51

elo

nouveau dans svn et le versioning alors je savais ou mettre le ref en tag ou branches alors tout foutu au meme endroit avec REF en maj, a compris maintenant merci (et tague)
tu peux poster sur le svn ? sinon dans googlecode en doublecliquant sur une ligne on peux la commenter

jai une idee de debut dinterface, mais pas trop de temps , il faudrait des fonctions pour :

commencer, mettre en pause, annuler, le techargement d'un episode
et que les scripts de telechargement aient loption resume

un brouillon pas reflechi, pas finis, en branche 1.1.0. :
conserve une biblioteque des episodes dans emissions/.../items, avec comme info en+ :

si lepisode est telechargeable : (dl-available:true, false)
etat du dl (dl-status : none, start, pause, fail)
pid du dler (dl-pid)
fichier media (media-file)
image illustrative (cover-url)

entre autre pb ou question :
modification du folder destination,
les scripts de dl, et leur scope
le fichier REF/version (les 3 infos ds un fichier)
pour mettre en pause le telechargement : killer le processus flvstreamer ?
les chemins
e je dois en oublier

a+

Dernière modification par bluelemon (Le 27/11/2009, à 00:58)

Bazoo · Le 02/12/2009, à 16:49

Bravo Bluelemon, t'as fais du bon travail

Quant à moi je n'ai pas eu de temps à y consacrer mais maintenant je suis en vacance donc j'espère pouvoir apporter ma contribution.

J'ai essayé de m'inscrire sur la page google.code de Gagoo mais je n'ai pas réussi... Il faut une invitation ou je suis un boulet ?

J'ai regardé un peu le code toussa et c'est nickel, j'ai quelques suggestions à apporter quant au fonctionnement et j'essaye d'apprendre pygtk pour faire une belle interface graphique (je t'avoue que je galère un peu mais avec de la patience ça devrait venir) au pire je pourrais faire un GUI avec gktdialog même si je trouve ce dernier trop limité à mon goût...

Je suis ce fil et je vous tiens au courant lorsque j'aurais quelque chose de concret à apporter.

Biz

josian · Le 02/12/2009, à 19:21

Le lien pour Flvstreamer semble rompu.

nono47 · Le 02/12/2009, à 19:51

Salut,

J'ai installé le flvstreamer des dépôt de Ubuntu avec un

sudo apt-get install flvstreamer

et j'ai pu voir les guignols et le SAV .
Génial ce script !
Dommage que S. Guillon ne soit plus dans la liste .

mano972 · Le 03/12/2009, à 01:15

[HS]Salut, J'aimerais savoir aux accros des guignols si quelqu'un pourrais m'envoyé les guignols de sarko vs elie domota, ou il n'arrête pas de se tirer dessus. merci

labaidai · Le 03/12/2009, à 13:00

Est-ce qu'il est possible de trouver un script qui n'ai pas de dépendance avec flvstreamer? Je l'ai installé sur Fedora mais le script me dit toujours que le paquet n'est pas installé...

josian · Le 03/12/2009, à 13:08

j'ai pris la version disponible avec synaptic, mais ce n'est pas la plus récente.

labaidai · Le 03/12/2009, à 13:14

Je me répond à moi-même : Pour fedora, j'ai commenté les lignes d'information concernant flvstreamer dans le script. Ensuite j'ai renommé flvstreamer_x86 en flvstreamer dans /user/bin/ et ça marche du feu de dieu !
Merci beaucoup pour ce script, c'est une merveille

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 01/11/2009, à 16:35

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#27 Le 01/11/2009, à 22:31

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#28 Le 02/11/2009, à 19:18

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#29 Le 02/11/2009, à 21:45

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#30 Le 04/11/2009, à 22:13

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#31 Le 06/11/2009, à 20:41

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#32 Le 06/11/2009, à 23:32

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#33 Le 07/11/2009, à 20:35

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#34 Le 10/11/2009, à 13:36

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#35 Le 11/11/2009, à 20:26

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#36 Le 12/11/2009, à 19:15

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#37 Le 13/11/2009, à 19:40

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#38 Le 22/11/2009, à 00:28

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#39 Le 22/11/2009, à 00:47

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#40 Le 22/11/2009, à 01:37

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#41 Le 22/11/2009, à 04:17

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#42 Le 26/11/2009, à 17:21

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#43 Le 26/11/2009, à 23:51

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#44 Le 02/12/2009, à 16:49

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#45 Le 02/12/2009, à 19:21

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#46 Le 02/12/2009, à 19:51

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#47 Le 03/12/2009, à 01:15

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#48 Le 03/12/2009, à 13:00

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#49 Le 03/12/2009, à 13:08

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#50 Le 03/12/2009, à 13:14

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Pied de page des forums