Contenu | Rechercher | Menus

Annonce

Si vous rencontrez des soucis à rester connecté sur le forum (ou si vous avez perdu votre mot de passe) déconnectez-vous et reconnectez-vous depuis cette page, en cochant la case "Me connecter automatiquement lors de mes prochaines visites".
Test de l'ISO d'Ubuntu francophone : nous avons besoin de testeurs pour la version francophone d'Ubuntu 14.04. Liens et informations ici.

Attention, une faille de sécurité dans bash a récemment été rapportée, il est recommandé de mettre à jour son système (plus de détails)

#26 Le 01/11/2009, à 16:35

elteror

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

pas mal pour le script en version graphique !
c 'est pratique de pouvoir dl les vidéos pour les regarder apres !

->pour la version graphique, serait t-il possible de pouvoir suivre l'avacement du téléchargement avec une barre de progression ???

merci !

Dernière modification par elteror (Le 01/11/2009, à 16:41)

#27 Le 01/11/2009, à 22:31

elteror

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Voici un script qui renomme et range les épisodes par emission

#!/bin/bash

DOWNLOAD_FOLDER=/home/${USER}/canal

cd $DOWNLOAD_FOLDER
#suppression des caractères indésirés
rename 's/EMISSION//' *.flv
rename 's/_CAN_......_video_.//' *.flv
rename 's/_AUTO_...._..._video_.//' *.flv
rename 's/_/ /g' *.flv

#rangement par émission
#La Météo de Pauline Lefevre
if [ ! -d La\ Météo\ de\ Pauline\ Lefevre ] && [ -e *METEO*.flv ]
then
{
	mkdir La\ Météo\ de\ Pauline\ Lefevre
	mv *METEO*.flv La\ Météo\ de\ Pauline\ Lefevre/
}
fi

#Groland
if [ ! -d Groland ] && [ -e GROLAND*.flv ]
then
{
	mkdir Groland
	mv GROLAND*.flv Groland/
}
fi

#Les Guignols
if [ ! -d Les\ Guignols\ De\ L\'Info ] && [ -e *GUIGNOLS*.flv==1 ]
then
{
	mkdir Les\ Guignols\ De\ L\'Info
	mv *GUIGNOLS*.flv Les\ Guignols\ De\ L\'Info/
}
fi

#SAV
if [ ! -d SAV ] && [ -e SAV*.flv ]
then
{
	mkdir SAV
	mv SAV*.flv SAV/
}
fi

#ZAPPING
if [ ! -d Le\ Zapping ] && [ -e ZAPPING*.flv ]
then
{
	mkdir Le\ Zapping
	mv ZAPPING*.flv Le\ Zapping/
}
fi

#Tetes a Claques
if [ ! -d Les\ Têtes\ à\ Claques ] && [ -e TETES*.flv ]
then
{
	mkdir Les\ Têtes\ à\ Claques
	mv TETES*.flv Les\ Têtes\ à\ Claques/
}
fi

#Salut Les Terriens
if [ ! -d Salut\ Les\ Terriens ] && [ -e SALUT*.flv ]
then
{
	mkdir Salut\ Les\ Terriens
	mv SALUT*.flv Salut\ Les\ Terriens/
}

exit 0

merci à rniamo pour m'avoir corrigé sur la gestion des noms de fichiers
par contre j'ai un problème pour les guignols et la météo de Pauline Lefevre !!!

Dernière modification par elteror (Le 01/11/2009, à 22:35)

#28 Le 02/11/2009, à 19:18

Bazoo

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Salut à tous !

Comme ces scripts évoluent tout le temps pour s'adapter aux caprices du site de Canal+, pourquoi ne pas monter un projet plus sérieux, faire des .deb et créer un dépot (PPA ou autre)
Ça pourrait rendre service à beaucoup de gens.

Je propose qu'on unissent nos effort pour développer un script de bonne qualité, utilisable 100% en ligne de commande (avec des arguments) comme ça on pourrait ensuite développer une interface graphique qui s'appuierait sur ces lignes de commandes.

Je peux apporter ma pierre pour héberger le projet, faire des paquets deb, écrire du code en bash ou faire l'interface graphique avec gtk-dialog. Par contre je ne sait pas comment ça se passe pour ouvrir un PPA.

Si il y a des gens motivés, n'hésitez pas à me contacter ici ou en MP.

A+

Hors ligne

#29 Le 02/11/2009, à 21:45

Dededede4

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Et pour Pépites du net ?


N'hésitez pas à me contacter sur jabber : dededede4(at)jabber.ubuntu-fr.org
Bill gate ? Il adore linux, d'ailleurs il est toujours habillé en pingouin.

Hors ligne

#30 Le 04/11/2009, à 22:13

franco12

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

merci olaf et les autres pour vos scripts

Dernière modification par franco12 (Le 04/11/2009, à 22:14)


"La route est (peut-être un peu) longue, mais la voie est (plus que jamais) libre" - Citation de Framasoft modifiée
Membre de l'April - « promouvoir et défendre le logiciel libre » - http://www.april.org
Mon jabber : francois_@jabber.fr

Hors ligne

#31 Le 06/11/2009, à 20:41

olaf.10

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Bonjour à tous,

La version 0.5 est dispo! J'ai pris en compte quelques idées de elteror et Uglycharly (merci à vous) :

elteror a écrit :

serait t-il possible de pouvoir suivre l'avacement du téléchargement avec une barre de progression ?

Bonne nouvelle: j'ai ajouté une barre de progression (soyez indulgents, je peux pas faire mieux que ça pour l'instant).

Uglycharly a écrit :

- modifier la date ext3 du fichier pour que ça colle avec la date de diffusion

C'est fait, par contre il ne faut pas interrompre le programme sinon le changement de date se fait pas.

Uglycharly a écrit :

- avertir qu'une nouvelle version du script est disponible

C'est fait aussi wink.

@Bazoo

Bazoo a écrit :

Je propose qu'on unissent nos effort pour développer un script de bonne qualité, utilisable 100% en ligne de commande (avec des arguments) comme ça on pourrait ensuite développer une interface graphique qui s'appuierait sur ces lignes de commandes.

C'est pas facile de travailler à plusieurs et à distance, mais, oui ça peut être sympa comme projet; le réel frein à tout ça, c'est que si canal change à nouveau son système, tout le travail fourni est perdu, et ça c'est vraiment pas cool.
Ceci mis à part... le top du top, se serait d'écrire un programme en langage C, non ? (je précise tout de suite que j'y connais rien en C big_smile)

A+

Dernière modification par olaf.10 (Le 06/11/2009, à 21:05)


http://olaf.10.free.fr/

Hors ligne

#32 Le 06/11/2009, à 23:32

Uglycharly

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Ca claque ! Bien sympa tout ça ! Merci pour les dates !

Hmm possible de filtrer la liste de radio button en retirant ce qui est déjà sur le répertoire de destination ? Et si possible classer les listes par émission et par date (mais pas évident car visiblement les noms changent souvent et il reste des vieux fichiers parfois)

Je comprends pas le code ! Va falloir que je m'y mette sérieux ! 6100 lignes t'as pas chômé !

Trop sympa aussi le système de mise à jour ! vivement la prochaine smile

Dernière modification par Uglycharly (Le 06/11/2009, à 23:37)


Win the Yes needs the No to win against the No

Hors ligne

#33 Le 07/11/2009, à 20:35

sputnick

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Salut,

je me suis permis de faire une version CLI en perl qui me semble plus adaptée, notamment pour le traitement du XML et des regexps.
Vous le trouverez ici : http://www.sputnick-area.net/scripts/canal+dl.pl

Il est basé sur le script sh de pronoiaque, il gère l'historique en testant si le fichier flv existe deja, il utilise un repertoire different pour chaque programme.
J'ai essayé de faire qq chose d'épuré ( sans outrance ) et de fiable.
Il faut juste renseigner les variables et créer un répertoire s'il n'existe pas déjà.

wget http://www.sputnick-area.net/scripts/canal+dl.pl
chmod +x canal+dl.pl
./canal+dl.pl

N'hésitez pas à me faire des retours.

++, sputnick.

il faut installer le module perl XML::Simple :

sudo aptitude install libxml-simple-perl

Surtout si vous avez une erreur perl :

Can't locate XML/Simple.pm in @INC

Dernière modification par sputnick (Le 01/02/2010, à 03:45)


bashfr.org(random);
<arciks1994> dou tu connai qel age j'ai ?

Hors ligne

#34 Le 10/11/2009, à 13:36

bluelemon

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

ola,

il faudrait diviser le projet en 3 parties : parser , telechargement , interface

parser : parse les pages de canal
si canal change son site seule cette partie est a modifier
le resultat est mis dans un format standard qui ne change pas (emmission, date, url)
et peut etre publie sur une url ex: http://omx.ch/om/cplus/

telechrgement : telecharge les emissions en s'appuyant sur le resultat du parser et de ce qui a deja ete telecharge en local

4 scripts : 1 par partie + 1 script principal utilisant ou pas l'interface

Dernière modification par bluelemon (Le 10/11/2009, à 13:51)

Hors ligne

#35 Le 11/11/2009, à 20:26

Bazoo

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

@Olaf.10 et @Bluelemon : Je pense qu'on peut s'organiser pour travailler à plusieurs et à distance, il y pleins d'outils disponibles pour ça.

Comme le site de Canal change souvent, j'avais la même idée que celle soumise par Bluelemon qui est de  séparer la partie du code qui traite les url afin de s'adapter facilement aux changement du site de Canal sans tout avoir à refaire à chaque fois.

Pour ce qui est du langage à utiliser, mes connaissances sont très limités mais il me semble que Perl ou Bash sont plutôt bien adaptés à ce genre de cas.

Qu'en pensez vous ? Est-ce que ça vous tente de former une petite équipe et de démarrer ce petit projet tranquillement ?

Hors ligne

#36 Le 12/11/2009, à 19:15

bluelemon

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

yep,
comme cpas un truc bien complique, en bash cbien
quel site peut-on utiliser ? code.google.com ?
des idess pr le nom du projet ?

Dernière modification par bluelemon (Le 12/11/2009, à 19:17)

Hors ligne

#37 Le 13/11/2009, à 19:40

Bazoo

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Salut !

Pas encore d'idée pour le nom du projet mais je vais y réfléchir...

Google Code semble bien mais que penses tu de launchpad.net ?
Je n'ai jamais utilisé ni l'un ni l'autre mais il me semble que Launchpad permet également d'héberger un dépôt PPA, ce qui pourra s'avérer pratique dans un second temps...

Donc, étape 1 :
- Lire les conditions d'utilisation du site de canal pour être s'assurer qu'un tel projet (même petit) est 100% légal. (Je pense que si on n'utilise pas de références à la marque Canal, y a aucun problème à télécharger les vidéos puisque de toute manière, regarder une vidéo en streaming revient à la télécharger...)
- Idée de nom pour le projet
- Choix de la plateforme

Je ne vais pas avoir beaucoup de temps libre durant les deux prochaines semaines mais après ça aucun problème...

Hors ligne

#38 Le 22/11/2009, à 00:28

bluelemon

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

ola,

alors dapres ce que jai vu :
launchpad n'heberge pas de serveur subversion, googlecode oui
launchpad permet de creer des depots a partir dune adresse subversion
on peut donc heberger le code et les fichiers sur le subversion de googlecode et utiliser celui-ci pour faire un depot avec launchpad

jai commence a faire un truc : http://code.google.com/p/gagoo/
(javais pas d'idee pour le nom mais comme yen fallait un roll )

installation :

cd ~
wget http://gagoo.googlecode.com/files/gagoo-1.0.tar
tar -xf gagoo-1.0.tar

eventuellement :
chmod +x .gagoo/gagoo .gagoo/lib/util/*

utilisation :

> .gagoo/gagoo

au premier lancement recupere les emissions disponibles sur le serveur et ce qu'il faut pour les telecharger (conf des emissions et scripts de parsage & dlage)

decommenter du fichier subscritpions les emissions auxquels on veut s'abonner
dans le fichier conf on peut preciser le repertoire de telechargement, si l'on veut recuperer tous les episodes ou juste le dernier ainsi que le nombre de video a garder
chaque emission a un fichier de conf emissions/.../conf ou l'on peut redefinir ce quil ya dans la conf general

relancer pour telecharger

----

options :
-U : maj des emissions
-u : recherche des episodes
-d : telechargement
-c : fait le menage
rien : enchaine les 4


REF/version : http://gagoo.googlecode.com/svn/trunk/REF/version
liste des emissions disponibles avec les infos pour les telecharger,
c'est ce fichier quil faut modifier pour indiquer quil y a eu des changements
une ligne par emission, 4 colonnes :
1) id de lemission
2) le nom du script qui assure le parsage des pages (independant ou non de lemission)
3) le nom du fichier de parametre a passer au parser (depend de l'emission)
4) le nom du script qui assure le telechargement (depend du format flv, mms, ...)

REF/scripts/parser : http://code.google.com/p/gagoo/source/b … pts/parser
contient les scripts qui parse les pages
actuellement : canal-1.0 et canal_multipart-1.0 ( pour les emissions en plusieurs parties comme le grand journal ou salut les terriens )


voila voila, c un premier truc, c'est assez general et ca peut etre applique a dautre chaines,
il suffit decrire un script de parsage, une conf demission et de poster ca sur le serveur
il faudra modifier en fonction de l'usage que lon veut en donner et de l'interface qui peut suivre et trouver un nom de nom

biz cool

Dernière modification par bluelemon (Le 22/11/2009, à 00:49)

Hors ligne

#39 Le 22/11/2009, à 00:47

sweetly

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Vous avez un dépôt git ou svn ?

Hors ligne

#40 Le 22/11/2009, à 01:37

BorX

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Super !

Les propositions de découper ce script en parties fonctionnelles étaient prometteuses, et les initiatives de partages par des dépôts SVN publics vont dans le bon sens !

Voilà un moment que je suis les projets de dl d'Arte et de C+.
Ces nouvelles actions me motivent particulièrement et je serais ravi si je pouvais y contribuer en mettant la main à la pâte !

J'ai rapidement regardé le code, il me paraît clair, bien présenté, il y a de (très) bonnes idées, et il est très agréable de consulter le code (même si l'absence de commentaires laisse présager un code qui va pas tarder à changer wink), notamment grâce à un découpage qui lui permettra en outre d'évoluer facilement.

Je m'amuse avec un peu dans mon coin, et je vous ferai part de mes remarques qui vous intéresseront certainement (bonne expérience des scripts Shell et du développement en général).
Je ne commiterai rien directement sur SVN sans votre aval.

A bientôt smile

Hors ligne

#41 Le 22/11/2009, à 04:17

bluelemon

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

j'avais un vieux parser pour arte, du coup jai ajoute des emissions

il faut mimms, les emissions sont dispos en flv mais jarrive pas a les dl avec flvstreamer

il faudrait revoir le parser, c un peu le bordel, et il n'a pas lair de marcher pour lart et la maniere peut etre a cause du e accentue

Hors ligne

#42 Le 26/11/2009, à 17:21

BorX

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Salut !

Après quelques jours que j'ai dû consacrer à des événements dont je me serais bien passé, je me suis remis sur le Gagoo Code smile

Je ne cacherai pas que j'ai un certain nombre de questions/remarques, de conseils sur la syntaxe, de propositions pour la suite, etc...
Reste à m'organiser un peu, sachant que je ne vois pas encore trop le moyen le plus simple d'en discuter. Je vais certainement rajouter mes remarques sous forme de commentaires au sein même du code, et j'enverrai ensuite un tarball. Tu pourras dès lors comparer mes modifs à ton code pour les intégrer ou non (à coup de diff ou de meld).

Pour l'heure, je te conseille vivement de taguer la version actuelle de Gagou qui constitue, je pense, la première version stable. Cette action facilitera grandement le suivi des futures évolutions de l'application, et constitue par ailleurs la première chose à effectuer avant de créer une éventuelle branche.
Je parle déjà de branches, car le code fait lui-même référence au trunk. Or le trunk est par définition la version en cours de développement, donc la version instable de l'application. Si le code y fait référence, il est susceptible d'être instable à son tour. Une référence à une branche stable pourrait permettre de proposer des mises à jour automatiques une fois celles-ci un peu éprouvées.
Bref, j'essaierai d'être plus clair à l'avenir. Mais je renouvelle le conseil : tague la version en cours smile

+

Hors ligne

#43 Le 26/11/2009, à 23:51

bluelemon

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

elo

nouveau dans svn et le versioning alors je savais ou mettre le ref en tag ou branches alors tout foutu au meme endroit avec REF en maj, a compris maintenant merci smile  (et tague)
tu peux poster sur le svn ? sinon  dans googlecode en doublecliquant sur une ligne on peux la commenter


jai une idee de debut dinterface, mais pas trop de temps , il faudrait des fonctions pour :

commencer, mettre en pause, annuler, le techargement d'un episode
et que les scripts de telechargement aient loption resume

un brouillon pas reflechi, pas finis,  en branche 1.1.0. :
conserve une biblioteque des episodes dans emissions/.../items, avec comme info en+ :

   si lepisode est telechargeable : (dl-available:true, false)
   etat du dl (dl-status : none, start, pause, fail)
   pid du dler (dl-pid)
   fichier media (media-file)
   image illustrative (cover-url)


entre autre pb ou question :
   modification du folder destination,
   les scripts de dl, et leur scope
   le fichier REF/version (les 3 infos ds un fichier)
   pour mettre en pause le telechargement : killer le processus flvstreamer ?
   les chemins
   e je dois en oublier smile

a+

Dernière modification par bluelemon (Le 27/11/2009, à 00:58)

Hors ligne

#44 Le 02/12/2009, à 16:49

Bazoo

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Bravo Bluelemon, t'as fais du bon travail smile

Quant à moi je n'ai pas eu de temps à y consacrer mais maintenant je suis en vacance donc j'espère pouvoir apporter ma contribution.

J'ai essayé de m'inscrire sur la page google.code de Gagoo mais je n'ai pas réussi... Il faut une invitation ou je suis un boulet ?

J'ai regardé un peu le code toussa et c'est nickel, j'ai quelques suggestions à apporter quant au fonctionnement et j'essaye d'apprendre pygtk pour faire une belle interface graphique (je t'avoue que je galère un peu mais avec de la patience ça devrait venir) au pire je pourrais faire un GUI avec gktdialog même si je trouve ce dernier trop limité à mon goût...

Je suis ce fil et je vous tiens au courant lorsque j'aurais quelque chose de concret à apporter.

Biz

Hors ligne

#45 Le 02/12/2009, à 19:21

josian

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Le lien pour Flvstreamer semble rompu.


W XP et UBUNTU 10.04
  AMD 64 3000+ ATI HD 4650
FREEBOX V5  NIKON D70 Sony Ericsson W595s

Hors ligne

#46 Le 02/12/2009, à 19:51

nono47

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Salut,

J'ai installé le flvstreamer des dépôt de Ubuntu avec un

sudo apt-get install flvstreamer

et j'ai pu voir les guignols et le SAV .
Génial ce script ! tongue
Dommage que S. Guillon ne soit plus dans la liste . sad


nono47

Hors ligne

#47 Le 03/12/2009, à 01:15

mano972

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

[HS]Salut, J'aimerais savoir aux accros des guignols si quelqu'un pourrais m'envoyé les guignols de sarko vs elie domota, ou il n'arrête pas de se tirer dessus. merci

Hors ligne

#48 Le 03/12/2009, à 13:00

labaidai

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Est-ce qu'il est possible de trouver un script qui n'ai pas de dépendance avec flvstreamer? Je l'ai installé sur Fedora mais le script me dit toujours que le paquet n'est pas installé... hmm


Wine est le seul logiciel Linux étant pro-microsoft, ne l'utilisez pas !

Hors ligne

#49 Le 03/12/2009, à 13:08

josian

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

j'ai pris la version disponible avec synaptic, mais ce n'est pas la plus récente.


W XP et UBUNTU 10.04
  AMD 64 3000+ ATI HD 4650
FREEBOX V5  NIKON D70 Sony Ericsson W595s

Hors ligne

#50 Le 03/12/2009, à 13:14

labaidai

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Je me répond à moi-même : Pour fedora, j'ai commenté les lignes d'information concernant flvstreamer dans le script. Ensuite j'ai renommé flvstreamer_x86 en flvstreamer dans /user/bin/ et ça marche du feu de dieu !
Merci beaucoup pour ce script, c'est une merveille smile


Wine est le seul logiciel Linux étant pro-microsoft, ne l'utilisez pas !

Hors ligne

Haut de page ↑