TVDownloader: télécharger les médias du net !

chaoswizard · Le 26/07/2010, à 09:45

psychederic a écrit :

Une idée ca pourrait sympas aussi de récupérer a partir de daylimotion ou youtube : vous savez genre des chaines de groupe :
http://www.youtube.com/user/ProdigyChannel
exemple france inter : http://www.dailymotion.com/franceinter

C'est jouable.
Dans ce cas là, il faudrait faire en sorte que l'utilisateur rentre les liens RSS des pages en question.

BmD_Online · Le 26/07/2010, à 12:36

Je suis en train de bosser sur un plugin Arte.
Pour l'instant, j'ai repris le principe d'Arte Live Web, presque terminé.
Ensuite je regarderai pour Arte+7.

chaoswizard · Le 26/07/2010, à 13:04

Super !
Inspire toi des autres plugins.

Dernière modification par chaoswizard (Le 26/07/2010, à 13:04)

inbox · Le 26/07/2010, à 13:09

Salut,

Abonnement.

BmD_Online · Le 26/07/2010, à 13:13

chaoswizard a écrit :

Super !
Inspire toi des autres plugins.

Yep, c'est ce que j'ai fait.

C'est bon ça marche :
j'obtiens la liste des catégories, les émissions par catégorie (lien, date, titre).
Par contre, les téléchargements ne marchent pas. Les liens rtmp://.... sont valides mais pas téléchargés.

Litteul-Korrigan · Le 26/07/2010, à 13:19

Yop, un p'tit message juste pour dire que tout fonctionne impec chez moi.
J'ai du lancer la première fois par terminal, depuis, no problem.

chaoswizard · Le 26/07/2010, à 13:19

Pour l'instant, le programme utilise flvstreamer pour les liens rtmp.
Tu l'as bien d'installé (si oui, quelle version) ?

Dernière modification par chaoswizard (Le 26/07/2010, à 13:20)

BmD_Online · Le 26/07/2010, à 13:28

chaoswizard a écrit :

Pour l'instant, le programme utilise flvstreamer pour les liens rtmp.
Tu l'as bien d'installé (si oui, quelle version) ?

Pour un lien du type :

rtmp://arte.fcod.llnwd.net/a2306/o25/MP4:liveweb/stream/680_chanson_du_dimanche_hd.mp4

J'utilise généralement rtmpdump (j'ai la version 2.2e), avec cette syntaxe :

rtmpdump --host arte.fcod.llnwd.net -a a2306/o25 -y MP4:liveweb/stream/680_chanson_du_dimanche_hd.mp4 -o chanson_du_dimanche.mp4

A coté, j'ai la version 1.9 de flvstreamer.

flvstreamer -r rtmp://arte.fcod.llnwd.net/a2306/o25/MP4:liveweb/stream/680_chanson_du_dimanche_hd.mp4 -o chanson_du_dimanche.mp4

En mode verbose, j'ai cette erreur :

NetStream.Play.StreamNotFound>

BmD_Online · Le 26/07/2010, à 13:30

Tiens, une question.
Par défaut, c'est le plugin de Canal qui s'affiche. On peut modifier ça, pour avoir un autre plugin (de son choix) par défaut ?

chaoswizard · Le 26/07/2010, à 13:45

BmD_Online a écrit :

Tiens, une question.
Par défaut, c'est le plugin de Canal qui s'affiche. On peut modifier ça, pour avoir un autre plugin (de son choix) par défaut ?

Pour l'instant non, un jour, sans doute !

rtmpdump marche mieux que flvstreamer ?
Il n'est pas possible de faire directement un

rtpmdump rtmp://arte.fcod.llnwd.net/a2306/o25/MP4:liveweb/stream/680_chanson_du_dimanche_hd.mp4 -o chanson_du_dimanche.mp4

Sinon, ta version de flvstreamer me parait vieille, il faudrait sans doute faire une mise à jour.
Mais si rtpmdump est dans les dépôts, on va sans doute basculer sur celui ci !

EDIT : Il semble bien dans les dépôts

Dernière modification par chaoswizard (Le 26/07/2010, à 14:02)

BmD_Online · Le 26/07/2010, à 15:03

Pour rtmpdump/flvstreamer, je vais regarder un peu.

Coté développement des plugins, j'ai une suggestion à faire :
On a, d'une part, la fonction qui liste les émissions d'une chaine

listerEmissions( self, chaine )

D'autre part, on a ensuite la fonction qui liste les fichiers d'une émission

listerFichiers( self, emission )

Lorsqu'on arrive au moment de lister les fichiers de l'émission, il serait utile de connaitre également la chaine en question (de rajouter le paramètre chaine à la fonction listeFichiers).

Dans le cas du plugin Arte que je prépare, j'ai besoin de savoir sur quelle "chaine" je suis (Arte+7 ou ArteLive) pour fonctionner différemment.
A part retrouver la chaine par rapport au nom de l'émission, je n'ai aucune solution pour l'instant.

Il se pourrait d'ailleurs qu'on ait une même émission sur plusieurs chaines (qui sait).

rudy1210 · Le 26/07/2010, à 15:25

Saludos

Je m'abonne et je suis ça...
Comme Litteul Korrigan, premier lancement depuis terminal puis OK...

Je trouve que la recherche d'émissions sur Pluzz lag...

a+

Vermouth · Le 26/07/2010, à 15:38

Yop, un p'tit message juste pour dire que tout fonctionne impec chez moi.
J'ai du lancer la première fois par terminal, depuis, no problem.

c'est parce que:

Je trouve que la recherche d'émissions sur Pluzz lag...

Oui ça je vous avais avertie que ça prenais du temps. C'est juste pour le premier démarrage, après la liste des émissions sont sauvegardé.
Ça devrai s'améliorer avec les prochaines versions.

chaoswizard · Le 26/07/2010, à 16:06

BmD_Online a écrit :

Coté développement des plugins, j'ai une suggestion à faire :
On a, d'une part, la fonction qui liste les émissions d'une chaine
listerEmissions( self, chaine )
D'autre part, on a ensuite la fonction qui liste les fichiers d'une émission
listerFichiers( self, emission )
Lorsqu'on arrive au moment de lister les fichiers de l'émission, il serait utile de connaitre également la chaine en question (de rajouter le paramètre chaine à la fonction listeFichiers).
Dans le cas du plugin Arte que je prépare, j'ai besoin de savoir sur quelle "chaine" je suis (Arte+7 ou ArteLive) pour fonctionner différemment.
A part retrouver la chaine par rapport au nom de l'émission, je n'ai aucune solution pour l'instant.
Il se pourrait d'ailleurs qu'on ait une même émission sur plusieurs chaines (qui sait).

J'ai eu ce problème pour RadioFrance et j'ai résolu ça facilement.

def listerEmissions( self, chaine ):
		self.derniereChaine = chaine

Comme l'ordre d'appel est tjrs : Site => Chaine => Emission => Fichier, ça roule !

Dernière modification par chaoswizard (Le 26/07/2010, à 16:07)

BmD_Online · Le 26/07/2010, à 16:09

chaoswizard a écrit :

J'ai eu ce problème pour RadioFrance et j'ai résolu ça facilement.
def listerEmissions( self, chaine ):
		self.derniereChaine = chaine
Comme l'ordre d'appel est tjrs : Site => Chaine => Emission => Fichier, ça roule !

Effectivement, je vais faire ça.

Vermouth · Le 26/07/2010, à 16:17

Ouai mais c'est pas propre car l'appel à listerFichiers dépend du précédent appel à lesterEmissions.
Le plus simple c'est de mémoriser:
-la liste des émissions pour chaque chaîne
-la liste des fichiers pour chaque émission (au fur et à mesure des appels à listerFichiers, juste pour pas faire deux fois de suite la même requette sur le web si on revient sur une émission déjà sélectionnée précédemment).

Si vous avez besoin de méthode pour effectuer des tâches répétitive (qui peut servir pour plus d'un plugin), faite moi signe (mail). Le but à la fin c'est qu'il y est plein de méthode générique sur la classe Plugin (qui sert à faire les plugins). Le reste du code ne devrais pas avoir à être utilisée.
Si vos plugins on des problèmes d'accent, la version qu'on va mettre ce soir va résoudre définitivement le problème.

BmD_Online · Le 26/07/2010, à 16:33

Vermouth a écrit :

Ouai mais c'est pas propre car l'appel à listerFichiers dépend du précédent appel à lesterEmissions.
Le plus simple c'est de mémoriser:
-la liste des émissions pour chaque chaîne
-la liste des fichiers pour chaque émission (au fur et à mesure des appels à listerFichiers, juste pour pas faire deux fois de suite la même requette sur le web si on revient sur une émission déjà sélectionnée précédemment).
Si vous avez besoin de méthode pour effectuer des tâches répétitive (qui peut servir pour plus d'un plugin), faite moi signe (mail). Le but à la fin c'est qu'il y est plein de méthode générique sur la classe Plugin (qui sert à faire les plugins). Le reste du code ne devrais pas avoir à être utilisée.
Si vos plugins on des problèmes d'accent, la version qu'on va mettre ce soir va résoudre définitivement le problème.

Pour l'histoire de la chaine à mémoriser, je vais essayer de revoir mon code.

Pour les accents, j'ai bien galéré entre les iso8859-1, les utf8... mais je m'en suis sorti en faisant les bonnes conversions là où il faut. Enfin... j'espère.

mydjey · Le 26/07/2010, à 17:38

Abonnement.

Vermouth · Le 26/07/2010, à 17:39

BmD_Online a écrit :

Pour les accents, j'ai bien galéré entre les iso8859-1, les utf8... mais je m'en suis sorti en faisant les bonnes conversions là où il faut. Enfin... j'espère.

Dans la prochaine version (demain au plus tard je pense) il n'y aura plus ce genre de problème. Suffira d'éclaircir ton code et de remplacé une méthode (tu parle du contenu téléchargé je suppose).

Puisque t'a utilisé la classe Web je suppose ?
Utiliser le code de l'application (autre que les méthodes de Plugin) ça pose des problèmes de compatibilité dans le future (genre si on supprime la classe Web bein ton plugin marche plus). A proscrire donc (comme j'ai dit juste avant, faire une demande).

Si tu l'as pas utilisé bein c'est tant mieux ^^ !

Dernière modification par Vermouth (Le 26/07/2010, à 17:39)

chaoswizard · Le 26/07/2010, à 17:59

BmD_Online, tu peux poster ton code qu'on l’intègre dans la prochaine version ?

pascal92 · Le 26/07/2010, à 18:04

chaoswizard a écrit :

Il n'est pas possible de faire directement un

rtpmdump rtmp://arte.fcod.llnwd.net/a2306/o25/MP4:liveweb/stream/680_chanson_du_dimanche_hd.mp4 -o chanson_du_dimanche.mp4

Bonsoir,
Non ce n'est pas possible, RtmpDump (et je suppose Flvstreamer) n'arrive pas à parser l'URL si elle n'est pas découpée.
J'avais étudié ce problème en mettant au point Arte Live Web pour TVO.

Bon courage pour votre projet

BmD_Online · Le 26/07/2010, à 18:27

Oui j'utilise la classe web.
J'utilise aussi la classe fichier, évidemment.

Pour l'instant, j'utilise aussi des fonctions de conversions d'encodage, ainsi que de nettoyage des entités html.
Je suppose que ça sera fait automatiquement avec ta future version.

Pour le plugin, je continue un peu d'avancer avant de poster.
J'ai fini Arte Live Web et je bosse sur Arte+7.
Si c'est bon, ça donnera une pré-version assez propre (mais à faire évoluer).

Dernière modification par BmD_Online (Le 26/07/2010, à 18:32)

Vermouth · Le 26/07/2010, à 18:35

BmD_Online a écrit :

Oui j'utilise la classe web.
J'utilise aussi la classe fichier, évidemment.
Pour l'instant, j'utilise aussi des fonctions de conversions d'encodage, ainsi que de nettoyage des entités html.
Je suppose que ça sera fait automatiquement avec ta future version.
Pour le plugin, je continue un peu d'avancer avant de poster.
J'ai fini Arte Live Web et je bosse sur Arte+7.
Si c'est bon, ça donnera une pré-version assez propre (mais à faire évoluer).

Alors pour l'encodage comme je t'ai dit c'est réglé, j'ai fait une fonction sur Plugin.getPage qui renvoie que de l'utf8 (faire les plugins dans cette encodage).
Par contre je ne sais pas ce que tu appel "nettoyage" ^^ .

BmD_Online · Le 26/07/2010, à 18:53

Vermouth a écrit :

Par contre je ne sais pas ce que tu appel "nettoyage" ^^ .

Remplacement des   é & etc... par les caractères respectifs.

J'ai trouvé 2 codes qui font ça. Le plus sympa est celui là

from htmlentitydefs import name2codepoint

	def htmlentitydecode(self, s):
		# http://wiki.python.org/moin/EscapingHtml
		return re.sub('&(%s);' % '|'.join(name2codepoint), 
				lambda m: unichr(name2codepoint[m.group(1)]), s)

chaoswizard · Le 26/07/2010, à 18:57

BmD_Online a écrit :

Vermouth a écrit :
Par contre je ne sais pas ce que tu appel "nettoyage" ^^ .
Remplacement des   é & etc... par les caractères respectifs.
J'ai trouvé 2 codes qui font ça. Le plus sympa est celui là
from htmlentitydefs import name2codepoint

	def htmlentitydecode(self, s):
		# http://wiki.python.org/moin/EscapingHtml
		return re.sub('&(%s);' % '|'.join(name2codepoint), 
				lambda m: unichr(name2codepoint[m.group(1)]), s)

Est-ce que tu ne peux pas aussi le faire avec :

import urllib
urllib.unquote( chaine )

Dernière modification par chaoswizard (Le 26/07/2010, à 18:59)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#26 Le 26/07/2010, à 09:45

Re : TVDownloader: télécharger les médias du net !

#27 Le 26/07/2010, à 12:36

Re : TVDownloader: télécharger les médias du net !

#28 Le 26/07/2010, à 13:04

Re : TVDownloader: télécharger les médias du net !

#29 Le 26/07/2010, à 13:09

Re : TVDownloader: télécharger les médias du net !

#30 Le 26/07/2010, à 13:13

Re : TVDownloader: télécharger les médias du net !

#31 Le 26/07/2010, à 13:19

Re : TVDownloader: télécharger les médias du net !

#32 Le 26/07/2010, à 13:19

Re : TVDownloader: télécharger les médias du net !

#33 Le 26/07/2010, à 13:28

Re : TVDownloader: télécharger les médias du net !

#34 Le 26/07/2010, à 13:30

Re : TVDownloader: télécharger les médias du net !

#35 Le 26/07/2010, à 13:45

Re : TVDownloader: télécharger les médias du net !

#36 Le 26/07/2010, à 15:03

Re : TVDownloader: télécharger les médias du net !

#37 Le 26/07/2010, à 15:25

Re : TVDownloader: télécharger les médias du net !

#38 Le 26/07/2010, à 15:38

Re : TVDownloader: télécharger les médias du net !

#39 Le 26/07/2010, à 16:06

Re : TVDownloader: télécharger les médias du net !

#40 Le 26/07/2010, à 16:09

Re : TVDownloader: télécharger les médias du net !

#41 Le 26/07/2010, à 16:17

Re : TVDownloader: télécharger les médias du net !

#42 Le 26/07/2010, à 16:33

Re : TVDownloader: télécharger les médias du net !

#43 Le 26/07/2010, à 17:38

Re : TVDownloader: télécharger les médias du net !

#44 Le 26/07/2010, à 17:39

Re : TVDownloader: télécharger les médias du net !

#45 Le 26/07/2010, à 17:59

Re : TVDownloader: télécharger les médias du net !

#46 Le 26/07/2010, à 18:04

Re : TVDownloader: télécharger les médias du net !

#47 Le 26/07/2010, à 18:27

Re : TVDownloader: télécharger les médias du net !

#48 Le 26/07/2010, à 18:35

Re : TVDownloader: télécharger les médias du net !

#49 Le 26/07/2010, à 18:53

Re : TVDownloader: télécharger les médias du net !

#50 Le 26/07/2010, à 18:57

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums