TVDownloader: télécharger les médias du net !

rimram31 · Le 25/11/2012, à 17:03

chaoswizard a écrit :

Je suis en train d'ajouter les exceptions/nettoyer un peu tout ça.
Je ferai le reste ensuite !

Excellent!

Vu ton commentaire sur ffmpeg, quand je lance un vlc sur un fichier .ts "en cours", ça bugge, plante ... un max, par contre nickel in fine avec le mkv, ça me pose souci pour mon add on xbmc qui streame "au fur et a mesure", tu as une idée? Sais pas s'il y aurait moyen de créer un fichier "au plus tôt". Je vais essayer la manip avec xbmc pour voir ce que ça donne (lecture du .ts).

Edit: xbmc lit bien le .ts, par contre dans ma conf pas d'audio ... ts, mkv même combat :-)

Dernière modification par rimram31 (Le 25/11/2012, à 17:17)

11gjm · Le 25/11/2012, à 17:27

Bonjour ,

@chaoswizard :

Je t'ai posé une question :
> FFmpeg
> Faut-il le mettre au niveau de python.exe ?

Ta réponse :
>> Pour FFMPEG, ce n'est pas la peine, il était utilisé pour une autre façon de charger les vidéos.

Et maintenant , que me réponds-tu ?

Cordialement .

chaoswizard · Le 25/11/2012, à 17:28

Hum, il doit y avoir moyen de lire le fichier TS (du coup, il faudrait ajouter une option pour ne pas faire la conversion avec FFmpeg ?).
Si tu n'as pas le son avec le .ts et le .mkv, ça doit venir de XMBC qui ne sait pas gérer le fichier audio.

chaoswizard · Le 25/11/2012, à 17:30

11gjm a écrit :

Bonjour ,
@chaoswizard :
Je t'ai posé une question :
> FFmpeg
> Faut-il le mettre au niveau de python.exe ?
Ta réponse :
>> Pour FFMPEG, ce n'est pas la peine, il était utilisé pour une autre façon de charger les vidéos.
Et maintenant , que me réponds-tu ?
Cordialement .

Ah, effectivement, maintenant, la question a un sens ! (c'est un peu le chaos de changer de façon de charger les vidéos toute les 2 semaines...).
Il faudrait que le binaire soit au même niveau que le main.py/pluzzdl.exe ; mais je n'ai pas encore ajouté le code pour Windows ; je vais le faire !

EDIT : c'est fait !

Dernière modification par chaoswizard (Le 25/11/2012, à 17:56)

k3c · Le 25/11/2012, à 18:44

Je voudrais remercier tous les intervenants qui ont permis de "rétablir" Pluzz.

Je me demandais si une "convergence" entre Tvdownloader et xbmc était possible/souhaitable au niveau des plugins ?

Par exemple, xbmc a un plugin pour D8 et D17, contrairement à Tvdownloader.

Dernière modification par k3c (Le 25/11/2012, à 18:45)

JLK · Le 25/11/2012, à 19:10

k3c a écrit :

Je voudrais remercier tous les intervenants qui ont permis de "rétablir" Pluzz.
Je me demandais si une "convergence" entre Tvdownloader et xbmc était possible/souhaitable au niveau des plugins ?
Par exemple, xbmc a un plugin pour D8 et D17, contrairement à Tvdownloader.

Moi, je n'y connais rien à ces deux applications, mais je dis pourquoi pas... L'union fait la force.

rimram31 · Le 25/11/2012, à 19:36

chaoswizard a écrit :

Hum, il doit y avoir moyen de lire le fichier TS (du coup, il faudrait ajouter une option pour ne pas faire la conversion avec FFmpeg ?).
Si tu n'as pas le son avec le .ts et le .mkv, ça doit venir de XMBC qui ne sait pas gérer le fichier audio.

Plus exactement, ma configuration salon xbmc, sur ma conf virtualisée pour mes tests, ça marche :-) (pas drôle, j'ai une conf tordue xbmc salon en raison de l'utilisation d'un DAC ...)

k3c a écrit :

...Je me demandais si une "convergence" entre Tvdownloader et xbmc était possible/souhaitable au niveau des plugins ?
Par exemple, xbmc a un plugin pour D8 et D17, contrairement à Tvdownloader.

Coté xbmc, de ce que je sais, ce sont différentes personnes qui gèrent les add on replay. Franchement, je me suis mis au add on pluzz parce que j'étais frustré de ne pas le voir marcher, me suis ensuite penché sur la HD ... enfin je me suis dit que ça serait sympa d'en faire profiter les autres, mais ces trucs là quand tu y met un doigt, tu y laisses le bras.

Pour xbmc deux parties, la navigation d'une part pour accéder aux vidéos, la lecture d'autre part. Généralement la vidéo est streamé directement, maintenant comme le cas de pluzz, ce n'est pas toujours possible mais je ne connais pas en détail les autres add on replay.

@chaoswizard Sais pas pourquoi, j'attrape des exceptions sur les messages de log (avec accents je suppose), j'avais tapé en touche la dernière fois en supprimant tous les logs ... Grosso modo, ça a l'air de marcher directement avec le ts en cours de téléchargement (mais suis un peu fatigué là ...)

Dernière modification par rimram31 (Le 25/11/2012, à 19:39)

czed · Le 25/11/2012, à 20:56

rimram31 a écrit :

Vu ton commentaire sur ffmpeg, quand je lance un vlc sur un fichier .ts "en cours", ça bugge, plante ... un max, par contre nickel in fine avec le mkv, ça me pose souci pour mon add on xbmc qui streame "au fur et a mesure", tu as une idée? Sais pas s'il y aurait moyen de créer un fichier "au plus tôt". Je vais essayer la manip avec xbmc pour voir ce que ça donne (lecture du .ts).

En accolant simplement les fragments m3u8 j'ai aussi du mal à lire directement le fichier TS, avec pluzzed je télécharge le flux donc le flux avec FFMPEG (suggestion de Pascal92 la première fois que j'avais parlé de M3U8 et de FFMPEG).

Pour cela on utilise la même commande que pour encapsuler le TS à la fin du téléchargement, en remplaçant le nom du fichier sur le disque par le flux http.

ffmpeg -y -i flux_m3u8 -vcodec copy -acodec copy sortie.mkv

Problème : pas de proxy ni de reprise possible (à ma connaissance)

J'en profite aussi pour remercier les intervenants et surtout magestik

Dernière modification par czed (Le 25/11/2012, à 21:00)

chaoswizard · Le 25/11/2012, à 21:09

Je me demandais si une "convergence" entre Tvdownloader et xbmc était possible/souhaitable au niveau des plugins ?

Souhaitable oui ; possible, je ne sais pas...

Sais pas pourquoi, j'attrape des exceptions sur les messages de log (avec accents je suppose)

Hum, encore un problème de type ça ; il faudrait essayer de rajouter (juste pour tester), un u (u"chaîne") devant les chaînes de caractères pour les passer en unicode.
Si c'est ça, je ferai la modification (de toute façon, dans le plugin XMBC, le logger est désactivé, non ? ça pose quand même un problème ?).

En accolant simplement les fragments m3u8 j'ai aussi du mal à lire directement le fichier TS

Comme je l'ai déjà dit, c'est parce qu'il manque les infos d'en-tête de la vidéo (qui sont rajoutés lors de l’encapsulation MKV).
Si XMBC sait récupérer le flux crée par FFmpeg, ça peut être pratique.

Dernière modification par chaoswizard (Le 25/11/2012, à 21:09)

fakbill · Le 25/11/2012, à 21:22

Où trouve t on la dernière version du code?
http://code.google.com/p/tvdownloader/downloads/list je suppose.
et le package ubuntu? le ppa:chaoswizard/tvdownloader ne marche plus.

Pour le moment je vais prendre le hg
Merci pour le boulot sur pluzzdl!!

fakbill · Le 25/11/2012, à 21:43

edit complet suite à plusieurs erreurs de ma part... :

En prenant le tar.gz de http://code.google.com/p/tvdownloader/downloads/list
Ca marche si je lance python main.py http://www.pluzz.fr/superstructures-sos … 13h40.html directement sur mon serveur en france. Ca plante à la fin sur "Problème lors de la création du MKV avec FFmpeg" mais vu que ffmpeg n'est pas encore installé sur ce serveur....

Par contre, directement depuis l'étranger, python main.py -s -p 127.0.0.1:8080 http://www.pluzz.fr/superstructures-sos … 13h40.html me renvoie :
[CRITICAL] PluzzDL.py Impossible de récupérer l'ID de l'émission
Une idée de ce qui ne va pas? Je précise que j'ai accès au site de pluzz et à cette video depuis un firefox configuré avec ce socks proxy.
Soit l'option -s est buggé trivialement, soit une autre étape dans le process ne marche pas avec un socks proxy (ce qui serait étrange car sous firefox, j'ai acces à la video).

Dernière modification par fakbill (Le 25/11/2012, à 22:09)

chaoswizard · Le 25/11/2012, à 22:02

@fakbill : heu, soit ils ont déjà bloqué le logiciel (:o), soit c'est parce que tu es à l'étranger.

si ça a une chance de marcher, c'est en ajoutant le bout de code pour mon socks proxy

Je crois que c'est déjà intégré.

fakbill · Le 25/11/2012, à 22:11

Pardon j'ai édité mon message entre temps
Le fait que ça ne marche pas (encore?) avec le -s n'est pas si grave car je peux lancer pluzzdl sur mon serveur en france puis "rapatrier" (si je puis dire...disons "extraprier") la video.
C'est juste que je suis curieux de savoir ce qui bloque.

fakbill · Le 25/11/2012, à 22:19

Oui l'option -s me semble buggée :
"import socks
import socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 8080)
socket.socket = socks.socksocket
dois venir *avant*
import liburl2
"
ce qui rend le parsing des options et l'application du -s pas super propre mais bon...

Edit :
en harcodant
import socks
import socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 8080)
socket.socket = socks.socksocket
avant le import liburl2 ça fonctionne si je le lance sans -s -p 127.0.0.1:8080. YES.
Par contre, avec -s - p 27.0.0.1:8080 (et tj le hardcodage bourrrin), ça ne marche pas.

un autre détail :
# -*- coding:Utf-8 -*- semble faux.
C'est
# -*- coding: utf-8 -*- (emacs râle).

Dernière modification par fakbill (Le 25/11/2012, à 22:34)

rimram31 · Le 26/11/2012, à 13:17

chaoswizard a écrit :

Comme je l'ai déjà dit, c'est parce qu'il manque les infos d'en-tête de la vidéo (qui sont rajoutés lors de l’encapsulation MKV)...

En effectuant quelques tests, on peut encoder "à la volée" avec ffmpeg, j'ai là quand même quelque peu retravaillé PluzzDL :-) de sorte de pouvoir définir un encodeur (ffmpeg + options). Via Popen, j'écris simultanément dans un fichier tmp et via ffmpeg, j'ai donc un mkv qui se construit progressivement, le fichier tmp permet une reprise sur arrêt de téléchargement (renvoi du tmp a ffmpeg, puis continuation)

Si ça le fait, c'est important pour moi pour xbmc car la vidéo peut alors être "streamé" en, presque, direct et je peux essayer d'ajuster les paramètres de conversion pour que xbmc encaisse au mieux la vidéo.

Jusque là, je teste avec vlc, autant le .ts pose parfois des problèmes, autant le mkv lui a l'air de passer a tout les coups. Sur mes essais quand même le flv me semble avoir une meilleure définition, à voir (mais j'ai encore du boulot!!!) sur un écran HD avec xbmc.

Dernière modification par rimram31 (Le 26/11/2012, à 13:18)

JUL1EN094 · Le 26/11/2012, à 15:32

Bonjour à tous,

Absent ce week end j'ai déménagé ...Je vois que ca a cogité sévère c'est bon ca lol

k3c a écrit :

Je voudrais remercier tous les intervenants qui ont permis de "rétablir" Pluzz.
Je me demandais si une "convergence" entre Tvdownloader et xbmc était possible/souhaitable au niveau des plugins ?
Par exemple, xbmc a un plugin pour D8 et D17, contrairement à Tvdownloader.

+1 pour l'idée mais comment ?

J'ai dévéloppé les derniers addons xbmc replay (D8 , D17, Gulli, NRJ12, NT1 et TMC). Si je peux vous être utile a qq chose ou vous faire gagner du temps sur la compréhension des plugins xbmc, n'hésitez pas à me demander, ce sera avec plaisir.

Dernière modification par JUL1EN094 (Le 26/11/2012, à 15:32)

JUL1EN094 · Le 26/11/2012, à 15:43

rimram31 a écrit :

Jusque là, je teste avec vlc, autant le .ts pose parfois des problèmes, autant le mkv lui a l'air de passer a tout les coups. Sur mes essais quand même le flv me semble avoir une meilleure définition, à voir (mais j'ai encore du boulot!!!) sur un écran HD avec xbmc.

Salut,

Ca fait tout de même une différence sur grand ecran HD, surtout sur les partie sombre qui sont moins bien définies... Bien sur ca dépend de la sensibilité de chacun mais perso je le vois.
A mon avis, c'est certain, ton travail sera utile et ne sera pas perdu (ce sera repris pour d'autre cas similaire je pense)... Et puis tu as tellement bosser dessus que tu peux pas t'arreter maintenant, ce serait criminel lol

k3c · Le 26/11/2012, à 17:22

>>>J'ai dévéloppé les derniers addons xbmc replay (D8 , D17, Gulli, NRJ12, NT1 et TMC). Si je peux vous être utile a qq chose ou vous faire gagner du temps sur la compréhension des plugins xbmc, n'hésitez pas à me demander, ce sera avec plaisir.

Merci c'est chouette.

Je me demandais si il y avait dans un wiki (ou autrepart) une explication du mécanisme pour aller chercher l'adresse d'un replay de D8 ou D17 par exemple, comme ce que j'ai expliqué ici pour tou.tv (chercher idMedia dans le source de la page, prendre le nombre qui suit, avec une adresse IP canadienne, passer cela à
http://release.theplatform.com/content.select?pid=
récupérer l'adresse commençant par rtmp:// qui n'est pas une pub, la découper et lancer la commande rtmpdump qui va bien).

Sinon il y a toujours le code source, dans lequel il faudra enlever tout ce qui concerne xbmc.

Pour NRJ12, NT1 et TMC j'avais écrit des petits scripts, mais le code de XBMC est sans doute meilleur.

chaoswizard · Le 26/11/2012, à 18:46

Oui l'option -s me semble buggée :
"import socks
import socket
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 8080)
socket.socket = socks.socksocket
dois venir *avant*
import liburl2
"
ce qui rend le parsing des options et l'application du -s pas super propre mais bon...

Whaha, moche ; je me demande si je ne vais pas virer les proxies sock du coup...

un autre détail :
# -*- coding:Utf-8 -*- semble faux.
C'est
# -*- coding: utf-8 -*- (emacs râle).

Je ne pense pas que ça soit faux.

En mettant quelque chose d'invalide, j'obtiens ça :

SyntaxError: encoding problem: with BOM

fakbill · Le 26/11/2012, à 21:10

Bah ce n'est pas si moche que ça. Ca force juste à mettre le import liburl2 un peu plus bas dans le code.
C'est moche certes mais c'est la seule façon de faire (je vais aller voir dans le code de liburl2 et de socks ce qui fait que ça dépend de l'ordre dans lequel on fait les import...)
Moche mais stp ne vire pas cette feature

Pour ce qui est des encoding, il semblerait que chaque éditeur fasse un peu ce qui veut avec la casse...

JUL1EN094 · Le 27/11/2012, à 01:17

k3c a écrit :

>>>
Merci c'est chouette.
Je me demandais si il y avait dans un wiki (ou autrepart) une explication du mécanisme pour aller chercher l'adresse d'un replay de D8 ou D17 par exemple, comme ce que j'ai expliqué ici pour tou.tv (chercher idMedia dans le source de la page, prendre le nombre qui suit, avec une adresse IP canadienne, passer cela à
http://release.theplatform.com/content.select?pid=
récupérer l'adresse commençant par rtmp:// qui n'est pas une pub, la découper et lancer la commande rtmpdump qui va bien).
Sinon il y a toujours le code source, dans lequel il faudra enlever tout ce qui concerne xbmc.
Pour NRJ12, NT1 et TMC j'avais écrit des petits scripts, mais le code de XBMC est sans doute meilleur.

Bonsoir,

Non pa de wiki, ou en tout cas pas dans le sens ou tu l exprime. Faut que tu regarde le code source en esperant qu il soit commenté.
En gnl c est qd meme lisible et codé avec des classes et des fonctions qui peuvent etre recuperable. Par contre on gere tte une partie navigation avant de parser la page finale.

Pour D17 c pas trop compliqué tt est ds un javascript a lire. Faut juste forcer le referer. Tu peux regarder la fonction getplayervods

D8 c est pareil....sauf que une partie des video est hebergée chez canal et donc faut il faut les distinguer et appliquer une autre methode pour celle ci

Tmc et nt1 c est du wat tv ==> idem tf1

nrj12 on utilise pyamf pour consulter les infos de la video sur le serveur amf et recup son url

k3c · Le 27/11/2012, à 05:49

@ JUL1EN094

>>>nrj12 on utilise pyamf pour consulter les infos de la video sur le serveur amf et recup son url
Tu m'intéresses ! Vous avez un module pour BFMTV ou les replays utilisant Britghcove ? Je vais regarder tout ça avec joie :-)

Merci

rimram31 · Le 28/11/2012, à 16:05

chaoswizard a écrit :

Whaha, moche ; je me demande si je ne vais pas virer les proxies sock du coup...

Question peut-être stupide, pourquoi ne t'es tu pas appuyé sur le support proxy d'urllib2 ? Ex: http://stackoverflow.com/questions/1450 … th-urllib2 . Il ne supporte que le http, mais ça doit être suffisant.

JUL1EN094 · Le 28/11/2012, à 16:33

k3c a écrit :

@ JUL1EN094
>>>nrj12 on utilise pyamf pour consulter les infos de la video sur le serveur amf et recup son url
Tu m'intéresses ! Vous avez un module pour BFMTV ou les replays utilisant Britghcove ? Je vais regarder tout ça avec joie :-)
Merci

Salut,

** sur NRJ12 regarde la fonction get_episode_url(INFOSITE,mediaId)
** Pour BFMTV ou les replays utilisant Britghcove je vais vérif mais je ne crois pas.

k3c · Le 28/11/2012, à 17:50

@ JUL1EN094

Merci je vais regarder.
Pour nrj12, j'avais utilisé une astuce pas du tout fiable, qui marche encore apparemment, en gros mon script faisait (sans les import et l'enrobage)

 
html = urlopen(sys.argv[1]).read()
nom1 = sys.argv[1].split('/')[-1:][0]
nom = nom1[:-5]
m = re.compile('http://(.*?)-minipicto*').search(html)
a = m.group(0)
id = str(a).split('/')[-1].split('/')[0][:8]
cmds = "msdl -c --no-proxy http://r.nrj.fr/mogador/web/"+id+"_h264_12.mp4 -s 5 -o "+nom+".mp4"
arguments = shlex.split( cmds )
process = subprocess.Popen( arguments, stdout = subprocess.PIPE).communicate()[0]

Dernière modification par k3c (Le 28/11/2012, à 17:51)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#2476 Le 25/11/2012, à 17:03

Re : TVDownloader: télécharger les médias du net !

#2477 Le 25/11/2012, à 17:27

Re : TVDownloader: télécharger les médias du net !

#2478 Le 25/11/2012, à 17:28

Re : TVDownloader: télécharger les médias du net !

#2479 Le 25/11/2012, à 17:30

Re : TVDownloader: télécharger les médias du net !

#2480 Le 25/11/2012, à 18:44

Re : TVDownloader: télécharger les médias du net !

#2481 Le 25/11/2012, à 19:10

Re : TVDownloader: télécharger les médias du net !

#2482 Le 25/11/2012, à 19:36

Re : TVDownloader: télécharger les médias du net !

#2483 Le 25/11/2012, à 20:56

Re : TVDownloader: télécharger les médias du net !

#2484 Le 25/11/2012, à 21:09

Re : TVDownloader: télécharger les médias du net !

#2485 Le 25/11/2012, à 21:22

Re : TVDownloader: télécharger les médias du net !

#2486 Le 25/11/2012, à 21:43

Re : TVDownloader: télécharger les médias du net !

#2487 Le 25/11/2012, à 22:02

Re : TVDownloader: télécharger les médias du net !

#2488 Le 25/11/2012, à 22:11

Re : TVDownloader: télécharger les médias du net !

#2489 Le 25/11/2012, à 22:19

Re : TVDownloader: télécharger les médias du net !

#2490 Le 26/11/2012, à 13:17

Re : TVDownloader: télécharger les médias du net !

#2491 Le 26/11/2012, à 15:32

Re : TVDownloader: télécharger les médias du net !

#2492 Le 26/11/2012, à 15:43

Re : TVDownloader: télécharger les médias du net !

#2493 Le 26/11/2012, à 17:22

Re : TVDownloader: télécharger les médias du net !

#2494 Le 26/11/2012, à 18:46

Re : TVDownloader: télécharger les médias du net !

#2495 Le 26/11/2012, à 21:10

Re : TVDownloader: télécharger les médias du net !

#2496 Le 27/11/2012, à 01:17

Re : TVDownloader: télécharger les médias du net !

#2497 Le 27/11/2012, à 05:49

Re : TVDownloader: télécharger les médias du net !

#2498 Le 28/11/2012, à 16:05

Re : TVDownloader: télécharger les médias du net !

#2499 Le 28/11/2012, à 16:33

Re : TVDownloader: télécharger les médias du net !

#2500 Le 28/11/2012, à 17:50

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums