TVDownloader: télécharger les médias du net !

Ferod · Le 03/08/2011, à 11:01

Salut,
TVDownloader pourra t'aider à en télécharger une partie. Reportes toi au post #1 pour la description de l'installation. Je viens de regarder j'ai 7 émission du 19/20 de Poitou-Charentes. La plus ancienne date du 27/07. En fait TVDownloader se base sur le site officiel de France Télévision :
http://www.pluzz.fr

Ferod · Le 03/08/2011, à 18:16

T'es bien allé dans pluzz > France 3 > JT 19/20 Poitou Charente ?
Parce que si je vais dans la catégorie "19/20 Poitou Charente" je n'ai rien non plus...

champoul · Le 21/08/2011, à 16:02

Bonjour,
Savez vous s'il est possible de modifier l'appli afin de pouvoir récupérer stade 2 ? Parce que l'émission semble être sur Pluzz ( http://sport.francetv.fr/stade2/index-fr.php ) mais elle n'est pas proposée dans le menu déroulant
Si vous avez des idées ou un autre moyen, je vous serez très reconnaissant ! Par avance, merci !

k3c · Le 21/08/2011, à 16:55

Justement, je voulais voir le film sur Lavillénie à
http://sport.francetv.fr/stade2/?page=r … rticle=353

Le source indique une page
http://info.francetelevisions.fr/video- … 1182126_F2

qui va sur une autre page dans laquelle je trouve
urls-url-video" content="geoloc/france-dom-tom/Autre/Autre/2011/S32/J7/299132_stade2_extrait_5_20110814.wmv
reste à savoir ce qu'il faut mettre avant

k3c · Le 22/08/2011, à 00:19

Apparemment c'est le même site, mais avec mon environnement (ma version de Linux, de Firefox, mes plugins installés), je vais sur Pluzz et je lis n'importe quelle vidéo, par contre je vais sur francetv et je ne lis rien.

Pluzz et francetv sont codés de manière différente, bien qu'utilisant tous les 2 Silverlight.

bernic · Le 23/08/2011, à 11:33

Bonjour à tous
De mon côté je récupère Band of Brothers, mais dans pluzz et tvdownloader la partie 3, celle de dimanche à 20h35 n'apparaît pas.

Comment peut on faire ?

bernic · Le 24/08/2011, à 10:43

idem aujourd'hui pour pluzz la5... la planète en danger.

Mon install est-elle opérationnelle ??:rolleyes: Je suis en LTS 10.04

Dernière modification par bernic (Le 24/08/2011, à 10:43)

Vermouth · Le 24/08/2011, à 22:04

Je vois qu'il y a pas mal de problème avec les plugins. Je viens à l'instant de les adapter à la nouvelle version en cour de développement et ce sera pour moi l'occasion de corriger ce genre de chose.

Dans le but de me faciliter la tâche, mettez les bogues des plugins sur Google Code si ce n'est pas déjà le cas.
J'ai prévu de passer en revu tout les autres bogues aussi.

Quelque détails sur les améliorations de la version à venir:
- meilleur gestion des téléchargements (affichage de la progression réel, annulation et probablement mise en pause) de façon individuel
- nouvelle interface graphique (pas trop d'infos dessus, on l'a pas encore commencé)
- pas mal d'amélioration interne. ça permettra par exemple d'activer et désactiver les plugins à chaud.
Globalement ça devrait mieux fonctionner.

Dernière modification par Vermouth (Le 24/08/2011, à 22:05)

k3c · Le 24/08/2011, à 23:41

Merci Vermouth

Je peaufine mon code avec piynotify, pour la semaine prochaine sans doute.

ET01 · Le 25/08/2011, à 11:12

Bonjour à tous,

J'ai un souci avec TVD Pluzz sur France2. La liste des émissions disponibles me parait très incomplète. J'essaie par exemple de télécharger "Sagesses bouddhistes" et elle ne figure pas dans ma liste. Elle est pourtant dispo dans Pluzz. C'est d'autant plus bizarre que j'ai réussi à le faire une fois unique, pour l'émission du 31/07/2011.

Une idée de ce qui ne va pas ?

Vermouth · Le 25/08/2011, à 19:12

k3c, j'ai pas bien compris ton truc avec piynotify à vraie dire. C'est quoi le code que tu prépares ?

Pour ce qui est de ton idée sur un client android, je pense plutôt qu'on fera une interface web (mini serveur HTTP). Ça sera accessible depuis plus de téléphone et même les ordinateurs. De plus, si on fait bien les choses ça nous donnera une API Web donc il sera possible d'utiliser ça pour faire des applis clientes natives ensuite. Mais c'est pas une priorité, il n'y a pas tant de monde que ça qui a sous serveur perso.
Normalement on devrait pouvoir faire une multitude d'UI par dessus le code principale facilement.

k3c · Le 25/08/2011, à 20:03

c'est en projet

On ajoute une case virer la pub lors de la sélection d'une émission à télécharger (si il y a de la pub)
Dans ce cas, quand le téléchargement commence, on a le nom du fichier, je lance mon script python avec en paramètre le nom du fichier.
il surveille la fermeture du fichier (IN_CLOSE_WRITE dans pyinjotify)
Dès que le fichier est totalement téléchargé, on vire la pub qui est (par exemple) entre 19:30 et 21:02 avec un coup de mencoder (on peut imaginer de passer en 2 ème et 3 ème paramètre les débuts et fin de la pub, ici 19minutes 30 et 21minutes 02).

J'espère que j'ai été clair.

Vermouth · Le 25/08/2011, à 20:59

D'accord je vois.
Je suppose que t'as du toucher au source. Il faudra probablement adapter la chose à la nouvelle version.
Je réfléchi justement à donner plus de possibilité aux plugins, mais pourquoi faire et dans quel mesure ?

k3c · Le 31/08/2011, à 20:41

champoul a écrit :

Bonjour,
Savez vous s'il est possible de modifier l'appli afin de pouvoir récupérer stade 2 ? Parce que l'émission semble être sur Pluzz ( http://sport.francetv.fr/stade2/index-fr.php ) mais elle n'est pas proposée dans le menu déroulant
Si vous avez des idées ou un autre moyen, je vous serez très reconnaissant ! Par avance, merci !

Pour voir les stade2, ce n'est pas très compliqué, en voilà deux

vlc mms://videozones.francetv.fr/france-dom-tom/Autre/Autre/2011/S34/J7/304460_stade2_extrait_6_20110828.wmv
vlc mms://videozones.francetv.fr/france-dom-tom/Autre/Autre/2011/S34/J7/304444_stade2_extrait_1_20110828.wmv

La méthode :
il faut mettre au début
mms://videozones.francetv.fr/

puis, dans le code source de la page (CTRL U sous Firefox par exemple), tu vas trouver
une ligne du type

href="http://info.francetelevisions.fr/video-info/index-fr.php?id-video=manuel_stade2_extrait_1_20110828_121_28082011181313_F2

class="link_video">Voir la vidéo
tu cliques sur
http://info.francetelevisions.fr/video- … 1181313_F2

ca t'ouvre un autre source, dans lequel tu cherches
.wmv
, ce qui fait que tu trouves
meta name="urls-url-video" content="geoloc/france-dom-tom/Autre/Autre/2011/S34/J7/304444_stade2_extrait_1_20110828.wmv"
tu vires le
geoloc
tu assembles les deux, et voilà

Je travaille à faire un plugin, quand j'aurai trouvé les .xml décrivant le site France Télévisions

ET01 · Le 01/09/2011, à 14:44

@ k3c

Merci pour tes indications. J'ai pu accéder en adaptant à Sagesses bouddhistes.

BmD_Online · Le 03/09/2011, à 18:08

Salut,

alors, quoi de neuf pour TF1/WAT.TV ?

Avec les infos données 1 page plus haut, on peut trouver le lien rtmp d'une émission sélectionnée.
Par contre, je n'ai pas réussi avec rtmpdump à charger cette émission.

Vermouth, tu as réussi à télécharger une émission ?

Vermouth · Le 03/09/2011, à 21:59

Et bien j'ai pas approfondie.

le petit script que j'ai donné dans la page précédente marche toujours. Pour récupérer le lien (http) vers la vidéo, il faudrait juste gérer correctement les entêtes HTTP (un petit wget n'y arrive pas mais mon navigateur oui).

Mais comme je le disais, il nous faut un fichier avec les id des vidéos et je doute fortement de son existence vue qu'il n'a pas lieu d'être. Pas de gros lecteur flash qui aurait besoin d'une playlist xml. Les données doivent être accessibles uniquement côté serveur.
J'ai pas encore fouillé le site de TF1 mais bon, je peut pas rentrer des url au hasard non plus...

BmD_Online · Le 03/09/2011, à 23:40

Apparemment les ID sont accessible via les pages des catégories de TF1.

Par exemple :
http://videos.tf1.fr/programmes-tv-jeunesse/
Là, tu as une page par émission.

Par exemple :
http://videos.tf1.fr/oscar-and-co/episo … 64151.html
Cette page contient la séquence
"mediaId :6847901"

C'est le fameux ID.

Ton script génère une URL du type
http://www.wat.tv/get/web/6847901?token … country=FR

Son contenu (qu'effectivement je n'arrive pas à lire avec wget) est :
rtmpe,rtmpte://wsel3.wat.tv/watestreaming/mp4:H264-384x288/79/01/6847901.h264?bu=&login=oscar-and-co&i=80.118.65.210&u=ec6d8bf8a3f8f9c2144c224c9390fe31&sum=f2702a45017d9d23ab95d87266ec8a3d

La vidéo "mp4:H264-384x288/79/01/6847901.h264" a son pendant HD "mp4:HD-1280x720/79/01/6847901.hd".

J'ai essayé manuellement plusieurs syntaxes rtmpdump mais rien n'a marché !

Vermouth · Le 04/09/2011, à 10:00

Il faut peaufiner les entêtes HTTP. Donc utilise plutôt un script python après avoir observé les requêtes faites par ton navigateur grâce à wireshark (filtre "http.request || http.response").

Pour les ids, si on veut toutes les récupérer, il va falloir télécharger une page web par vidéo (sans compter les pages principales). C'est pas vraiment faisable.

Et, bisarre, tu obtiens un lien rtmp pour la vidéo. Dans mon script, avec l'id mis en dure, on obtient un lien http. Là ça devient galère...

Et pour rtmpdump, le problème c'est une histoire d'identification:

WARNING: HandShake: client signature does not match!

A savoir si on peut contourner les problèmes...

Dernière modification par Vermouth (Le 04/09/2011, à 10:05)

BmD_Online · Le 04/09/2011, à 10:04

Ton lien HTTP contient une url RTMP.

Effectivement il faudrait analyser toutes les pages, mais je crois me souvenir que c'est ce que je faisais pour Arte.
Peut-être d'une manière plus simple, mais je crois que souvenir que je chargeais plein de pages.

Vermouth · Le 04/09/2011, à 10:10

Exécute mon script de la page précédente, il te donnera cette URL:
http://www.wat.tv/get/web/4974625?token … country=FR
En ouvrant ça dans ton navigateur, tu obtient cette URL:
http://4med.wat.tv/get/55e5f64bc63899d3 … 6&seek=wat
Et si tu ouvre cette dernière, tu arrives bien à la vidéo (flv).

Niveau nombre de page à télécharger, ça risque d'être vraiment monstrueux. Je vais faire une petite estimation pour voir.
EDIT: non c'est vraiment pas possible, si on veut tout avoir, ça va se compter en millier de page à télécharger.

Dernière modification par Vermouth (Le 04/09/2011, à 10:12)

BmD_Online · Le 04/09/2011, à 10:56

Ah oui, curieux !
Ton script, avec l'ID 6847901 renvoie vers un lien RTMP.
Effectivement, pas si simple.

Pour le handshake rtmpdump, j'ai essayé la version 2.4 qui améliore apparemment la négociation, mais ça ne marche pas non plus.

Pas simple... pas simple...

BmD_Online · Le 04/09/2011, à 10:58

Vermouth a écrit :

Niveau nombre de page à télécharger, ça risque d'être vraiment monstrueux. Je vais faire une petite estimation pour voir.
EDIT: non c'est vraiment pas possible, si on veut tout avoir, ça va se compter en millier de page à télécharger.

L'idée serait de récupérer juste les pages des catégories, du genre divertissement, jeunesse, etc.
Ensuite, lorsqu'une catégorie est choisie, lire les pages de ces catégories.

Ca devrait limiter le nombre de pages à charger, mais ça donne quand-même beaucoup de pages à lire à la fois.

k3c · Le 05/09/2011, à 15:12

C'est dommage que Pascal92, l'auteur de TVO, ne passe plus.
Il aurait eu un avis pertinent, vu que TVO fait cela très vite.

Je crois que TVO est écrit dans un langage proche de Auto it, disons un mélange de mechanize et Sikuli

BmD_Online · Le 05/09/2011, à 17:52

Ce n'est pas le langage qui pose problème à ce moment là, c'est le "temps internet".
Plus tu charges de pages, plus ça va être long.
Le plus lent des langages est toujours plus rapide qu'un flux réseau.

C'est l'accès aux pages des chaînes qu'il faut optimiser, qu'il faut essayer de faire en asynchrone.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#876 Le 03/08/2011, à 11:01

Re : TVDownloader: télécharger les médias du net !

#877 Le 03/08/2011, à 18:16

Re : TVDownloader: télécharger les médias du net !

#878 Le 21/08/2011, à 16:02

Re : TVDownloader: télécharger les médias du net !

#879 Le 21/08/2011, à 16:55

Re : TVDownloader: télécharger les médias du net !

#880 Le 22/08/2011, à 00:19

Re : TVDownloader: télécharger les médias du net !

#881 Le 23/08/2011, à 11:33

Re : TVDownloader: télécharger les médias du net !

#882 Le 24/08/2011, à 10:43

Re : TVDownloader: télécharger les médias du net !

#883 Le 24/08/2011, à 22:04

Re : TVDownloader: télécharger les médias du net !

#884 Le 24/08/2011, à 23:41

Re : TVDownloader: télécharger les médias du net !

#885 Le 25/08/2011, à 11:12

Re : TVDownloader: télécharger les médias du net !

#886 Le 25/08/2011, à 19:12

Re : TVDownloader: télécharger les médias du net !

#887 Le 25/08/2011, à 20:03

Re : TVDownloader: télécharger les médias du net !

#888 Le 25/08/2011, à 20:59

Re : TVDownloader: télécharger les médias du net !

#889 Le 31/08/2011, à 20:41

Re : TVDownloader: télécharger les médias du net !

#890 Le 01/09/2011, à 14:44

Re : TVDownloader: télécharger les médias du net !

#891 Le 03/09/2011, à 18:08

Re : TVDownloader: télécharger les médias du net !

#892 Le 03/09/2011, à 21:59

Re : TVDownloader: télécharger les médias du net !

#893 Le 03/09/2011, à 23:40

Re : TVDownloader: télécharger les médias du net !

#894 Le 04/09/2011, à 10:00

Re : TVDownloader: télécharger les médias du net !

#895 Le 04/09/2011, à 10:04

Re : TVDownloader: télécharger les médias du net !

#896 Le 04/09/2011, à 10:10

Re : TVDownloader: télécharger les médias du net !

#897 Le 04/09/2011, à 10:56

Re : TVDownloader: télécharger les médias du net !

#898 Le 04/09/2011, à 10:58

Re : TVDownloader: télécharger les médias du net !

#899 Le 05/09/2011, à 15:12

Re : TVDownloader: télécharger les médias du net !

#900 Le 05/09/2011, à 17:52

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums