Ubuntu-fr

bibichouchou

Re : TVDownloader: télécharger les médias du net !

pour les liens mms/rtmp : cela fait bien longtemps qu'ils ont quasiment disparu. tantôt il y a la bande annonce ou le résumé du programme à la place du liens mms/rtmp. tantôt le lien mms est bien présent (je crois que c'est le cas pour des émissions genre c'est dans l'air).

amicalement

magestik

Re : TVDownloader: télécharger les médias du net !

Me revoilà. Donc je confirme que la clé HMAC a changé. Pour ceux que ça intéresse j'ai simplement pris une chaine (pris d'une URL dans Firefox) dont je connaissais le HMAC actuel et j'ai calculé le HMAC avec l'ancienne clé. Les deux empreintes étant différentes on est sur que la clé HMAC a changé.

Mais c'est pas tout ... La façon dont est calculé le playerHash a aussi changé ! Le hash actuel est : "47DEQpj8HBSa+/TImW+5JCeuQeRkm5NMpJWZG3hSuFU=". Vous pouvez le mettre dans pluzzdl.cfg si vous voulez, il manque plus que la clé HMAC

Je suis déjà dessus, je vous tiens au courant.

EDIT: La clé HMAC ce sera pas pour ce soir

Dernière modification par magestik (Le 21/11/2012, à 23:38)

jchb

Re : TVDownloader: télécharger les médias du net !

Bonjour ,
Un process qui fonctionne avec captvty .
=====
En essayant d'enregistrer une émission , on a d'abord le message "attente serveur"
puis le message d'erreur :
" Demandant de lancer la lecture et d'essayer de nouveau l'enregistrement " .
Ce qu'il faut faire immédiatement , lancer le lecteur embarqué ,
attendre que l'image soit de bonne qualité .
Cliquer de nouveau sur l'émission avec le bouton droit pour télécharger.
Le message "attente serveur" réapparaît et le téléchargement se lance.
Fermer le lecteur embarqué .
=====
qui peut aider à comprendre les modifs à effectuer dans Pluzzdl .
A+ .

Un grand merci à toi 11gjm !
Ça a marché pour une vidéo de France 2 vieille de plus d'un mois! : http://www.france2.fr/videos/70697790

J'en profite pour vous raconter un peu mon parcours et mes trouvailles qui pourraient peut-être vous intéresser :

J'avais d'abord essayé la technique du "getInfosOeuvre.php" avec l'url :
http://www.france2.fr/appftv/webservice … n=70697790
(En passant, remplacer www.france2.fr par www.pluzz.fr semble ne rien changer)
Pour mon cas, le fameux "id-diffusion" étant présent directement dans l'url de la vidéo, donc rien de plus simple!
Si ce n'est pas le cas, chercher le terme "id-video" dans le code source de la page pour trouver celui-ci.

Mais, pour ma vidéo il n'y avait que le format "smil-mp4" (parfois il y a aussi le WMV) et je ne suis rien arrivé à faire avec celui-ci", son "manifest.f4m", ses segments f4f, etc...
J'avais pourtant des choses intéressantes du côté du forum : http://forum.videohelp.com/threads/3424 … converting
et du script PHP "AdobeHDS.php" : https://github.com/K-S-V/Scripts & https://github.com/K-S-V/Scripts/wiki
Mais je suis resté bloqué devant des "Access denied !" dûs à leur système sécurisé... (avec leur hash, token, user-agent et tout le taintsoin!)

Alors, je suis parti à la recherche du lien WMV avec la technique du "getInfosVideo.php" :
http://www.pluzz.fr/appftv/webservices/ … sVideo.php qui permet d'afficher les dernières vidéos (40 maxi à la fois) ajoutées sur pluzz.fr.

<APARTÉ OUVERTE>
Pour rappel :
Cette technique permet de trouver l'id-externe d'une vidéo pour ensuite aller sur :
http://www.pluzz.fr/appftv/webservices/ … d-externe= <id-externe>
Repérer <chemin> et <nom> puis entrer l'URL suivante dans votre nagivateur ou dans VLC :
http://a988.v101995.c10199.e.vm.akamais … blication/ <chemin> / <nom>

Par exemple pour le 1er épisode de la saison 5 de "Fais pas ci, fais pas ça" :
http://www.pluzz.fr/appftv/webservices/ … 2150113_F2
...
<nom>478726_fpcfpc_episode1_integral_20121107.wmv</nom>
<chemin>/geoloc/france-dom-tom/Autre/Autre/2012/S44/J3/</chemin>
...
http://a988.v101995.c10199.e.vm.akamais … 121107.wmv
<APARTÉ FERMÉE>

Avec "getInfosVideo.php", on peut aussi jouer avec les paramètres "chaine" et "debut" pour rechercher des vidéos plus vieilles.
Par exemple : http://www.pluzz.fr/appftv/webservices/ … &debut=100 affiche de la 100 ème à la 140ème vidéo la plus récente du replay france 2.
En tâtonnant un peu, j'ai vu qu'on pouvait aussi faire une recherche sur le code du programme :
http://www.pluzz.fr/appftv/webservices/ … e_sa_place
Mais il n'y avait que les vidéos de moins d'une semaine.

J'ai ensuite trouvé une technique intéressante (et toute simple!) pour afficher la liste des vidéos qui sont "offline" et donc normalement non accessibles! :
http://www.pluzz.fr/appftv/webservices/ … ut=offline
Mais ça ne remontait toujours pas assez loin...
(Mais technique bien pratique pour retrouver des vidéos qui ne sont plus dispo en replay sur pluzz.fr!)

À ce moment là, j'ai failli abandonner (j'avais pourtant trouvé pas mal de trucs intéressants) quand je suis tombé sur ton post 11gjm.
J'ai alors rebooté sur Windows, installé Captvty 1.9 (http://captvty.fr/), cliqué sur le 1er élément du menu de Captvty qui permet de rentrer manuellement un adresse, et là, en entrant le lien de ma vidéo, Captvty a trouvé comme par magie la vidéo en .flv !

Par contre, pour moi, ça n'a pas marché du 1er coup et j'ai du fermer puis redémarrer le logiciel (cf. Annonce du 15/11/2012 sur le site http://captvty.fr/ ).
Mais en lancant rapidement le player dans mon navigateur après avoir lancé le téléchargement sur Captvty, ça a marché !
Merci bien! ;-)

J'espère que ce long post pourra en aider quelques-uns!

Bonne journée à vous!

J'ai continué tes recherches, et j'ai découvert le paramètre id-interne pour le getinfosvideo. Par exemple on fait http://www.pluzz.fr/appftv/webservices/ … =000532648 et on obtient directement le XML avec juste la vidéo qui nous intéresse (pour récupérer cette fois l'id externe et télécharger la vidéo). Le seul hic c'est que j'arrive pas à savoir à quoi correspond cet id-interne. Au début je pensais que c'était le id-diffusion que l'on trouve facilement sur la page de la vidéo, mais en fait non
C'est bête parce que il suffirait de trouver le moyen d'avoir cet id-interne pour pouvoir récupérer n'importe quelle vidéo non ?

Edit : Semblerait que le paramètre "titre-public" soit aussi utilisable, mais je n'ai jamais de retour.

Dernière modification par jchb (Le 22/11/2012, à 16:38)

11gjm

Re : TVDownloader: télécharger les médias du net !

Bonjour ,

@jchb : un peu de lecture .

http://www.pluzz.fr/appftv/webservices/video/getInfosVideo.php?id-interne=000532648
=== rechercher dans le fichier
manuel_yakari_20121122_964_22112012145719_F5
=== créer un fichier batch , à enregistrer dans un répertoire contenant mplayer , puis lancer le batch .
@echo on
rem avec ce fichier batch ; on obtient un fichier "stream.dump" à renommer en "yakari.htm"
mplayer -cache 8000 -dumpstream "http://info.francetelevisions.fr/?id-video=manuel_yakari_20121122_964_22112012145719_F5" id="current_video" class="video" type="video/cappuccino" -
:fin
=== !!! lire rem ci-dessus !!! puis lancer "yakari.htm" , chercher dans les sources :
geoloc/france-dom-tom/Autre/Autre/2012/S47/J4/539128_yakari_20121122.wmv
=== Début standard des adresses
mms://a988.v101995.c10199.e.vm.akamaistream.net/7/988/10199/3f97c7e6/ftvigrp.download.akamai.com/10199/cappuccino/production/publication
=== Associer le Début et la partie geoloc...wmv
mms://a988.v101995.c10199.e.vm.akamaistream.net/7/988/10199/3f97c7e6/ftvigrp.download.akamai.com/10199/cappuccino/production/publication/geoloc/france-dom-tom/Autre/Autre/2012/S47/J4/539128_yakari_20121122.wmv
===
Voilà , l'adresse à coller dans VLC ou autre .

A+ .

jchb

Re : TVDownloader: télécharger les médias du net !

re,

Oui j'ai bien compris comment obtenir l'adresse de téléchargement de la vidéo.
Une fois que j'ai l'id-interne j'ai aucun soucis.
Le problème c'est comment trouver cet id à partir de la page d'une vidéo du genre : http://www.pluzz.fr/jt-13h-2012-11-22-12h59.html.
C'est la seule pièce qu'il me manque pour réussir à construire un script qui à partir de l'url de la page d'une vidéo ressort tout seul l'url du fichier de la vidéo en question.

11gjm

Re : TVDownloader: télécharger les médias du net !

Bonjour ,

@jchb :

Dans l'explorateur , tu lances :
http://www.pluzz.fr/jt-13h-2012-11-22-12h59.html
Après démarrage de la page .
Tu regardes dans les sources du fichier ; ligne 27 , tu peux lire :
<meta name="id_video" content="72847754" />
Tu lances :
http://www.pluzz.fr/appftv/webservices/video/getInfosOeuvre.php?mode=zeri&id-diffusion=72847754
Dans ton cas de figure , tu as même l'adresse du flux :
mms://videozones.francetv.fr/france-dom-tom/Autre/Autre/2012/S47/J4/539405_jt_13h_20121122.wmv
Cela facilite les recherches .

A+ .

Dernière modification par 11gjm (Le 22/11/2012, à 18:25)

chaoswizard

Re : TVDownloader: télécharger les médias du net !

Y'aurait pas moyen de se rejoindre sur un chan IRC ? Ça permettrait de partager nos découvertes rapidement.

Il y a moyen mais je ne peux pas aider à grand chose ; je n'y connais rien au flash

Mais c'est pas tout ... La façon dont est calculé le playerHash a aussi changé

Ce n'est plus le sha256 du swf décompressé ?

---

Ubuntu ==> Debian ==> Archlinux

k3c

Re : TVDownloader: télécharger les médias du net !

@ 11gjm

On dirait que ta manip ne fonctionne pas toujours

je pars de
http://www.pluzz.fr/le-corps-du-desir-2 … 12h45.html
cela me donne
meta name="id_video" content="72703047" />
et quand je lance
http://www.pluzz.fr/appftv/webservices/ … n=72703047
je suis redirigé sur une page dans laquelle le seul lien intéressant est celui du manifest
http://ftvodhdsecz-f.akamaihd.net/z/str … nifest.f4m
qui me renvoie une erreur 403

A moins que j'aie loupé un truc

Dernière modification par k3c (Le 22/11/2012, à 18:54)

---

Debian 12 sur Thinkpad reconditionné

jchb

Re : TVDownloader: télécharger les médias du net !

Je suis d'accord avec k3c, la page getInfosOeuvre ne donne pas toujours l'adresse du flux, c'est pour ça que je cherche une autre méthode pour l'avoir à coup sûr.

bibichouchou

Re : TVDownloader: télécharger les médias du net !

salut,
au risque de me répéter : les protocoles mms ou rtmp ne sont que très rarement dispo. parfois il y a un lien mms/rtmp mais il pointe vers la bande annonce du programme ou le résumé (exemple avec plus belle la vie) ou un extrait (exemple c'est dans l'air) ou le programme complet (exemple le journal ou tout le monde veut prendre sa place). A ma connaissance, il y a un ou deux programmes qui n'ont que le protocole mms comme les doc 24. Allez savoir pourquoi...

Malheureusement, je ne pense pas qu'il vaille la peine de trop chercher dans cette direction... La seule façon générale c'est le protocole f4m/f4f.

Dernière modification par bibichouchou (Le 22/11/2012, à 19:15)

jchb

Re : TVDownloader: télécharger les médias du net !

Peut être que

les protocoles mms ou rtmp ne sont que très rarement dispo

mais avec l'id-externe d'une vidéo on peut facilement obtenir l'adresse du fichier wmv ou mp4 (comme l'a expliqué cavi dans son post) puis le télécharger.
C'est que je cherche actuellement à automatisé avec pour seul point d'entrée l'url de la page de la vidéo.

Pour résumer à nouveau ce qu'a déjà expliqué cavi :

1) Page de la vidéo, exemple : http://www.pluzz.fr/jt-13h-2012-11-22-12h59.html
2) Récupération de l'id-interne de la vidéo <- Etape qui bloque
3) On utilise l'id interne dans getInfosVideo comme ceci http://www.pluzz.fr/appftv/webservices/ … =000532905 afin de récupérer l'id-externe de la vidéo
4) Avec l'id-externe on appelle cette url : http://www.pluzz.fr/appftv/webservices/ … 2154124_F2 pour obtenir le chemin et le nom de la vidéo qu'on utilise pour obtenir la vidéo http://a988.v101995.c10199.e.vm.akamais … blication/chemin/nom

Ce qui donne au final : http://a988.v101995.c10199.e.vm.akamais … 121122.wmv

A moins que j'ai loupé quelque chose ...

Sinon pourquoi pas récupérer les f4f, mais ça risque de pas être simple pour recomposer tous les tokens ...

Dernière modification par jchb (Le 22/11/2012, à 20:11)

bibichouchou

Re : TVDownloader: télécharger les médias du net !

@jchb
j'ai bien compris ta démarche. mais l'exemple que tu donnes est biaisé car on sait que la version mms existe. je pense en fait que s'il le flux mms n'est pas visible dans le manifest, c'est qu'il n'existe pas. Je n'en suis pas sûr à 100% évidemment, c'est une intuition.
Pour la version fragmenté, la génération du jeton coince. On cherche...

jchb

Re : TVDownloader: télécharger les médias du net !

Reste plus qu'a trouver un contre exemple alors
Je cherche aussi de mon côté pour la génération du token.

magestik

Re : TVDownloader: télécharger les médias du net !

Je suis complètement perdu là. J'essaye d'aider mais y'a des débuts de solution un peu partout et je sais pas si je dois continuer à chercher la clé HMAC ou pas (sachant que je suis un peu coincé en ce moment, mon ordi de test fait que de crasher). J'ai quelques pistes mais je suis sur de rien et il me faut un Windows pour continuer x)

Pour info je suis connecté sur le chan IRC #pluzzdl du réseau EFnet. Ça ira plus vite pour partager nos idées.

jchb

Re : TVDownloader: télécharger les médias du net !

Reste plus qu'a trouver un contre exemple alors
Je cherche aussi de mon côté pour la génération du token.

Edit : semblerait que tu ais raison, j'ai regardé toutes les vidéos datées d'aujourd'hui sur france ô (http://www.pluzz.fr/appftv/webservices/ … ne=franceo), et la vidéo http://www.pluzz.fr/le-corps-du-desir-2 … 12h45.html dont le mms n'est pas présent dans le manifest n'y apparait pas.

chaoswizard

Re : TVDownloader: télécharger les médias du net !

@jchb : je ne comprends pas cette histoire d'id interne/externe : à quoi correspond l'id actuellement récupéré par pluzzdl ? à aucun des deux ?
Les liens wmv obtenus au final sont différents ?

Pour info je suis connecté sur le chan IRC #pluzzdl du réseau EFnet. Ça ira plus vite pour partager nos idées.

Je viens d'essayer, mais il n'y a personne ; je dois être rouillé avec IRC...

Dernière modification par chaoswizard (Le 22/11/2012, à 21:23)

---

Ubuntu ==> Debian ==> Archlinux

jchb

Re : TVDownloader: télécharger les médias du net !

Les id-interne et id-externe ne sont pas identiques à celui récupéré sur la page d'une vidéo web d'une vidéo pluzz. Je pense qu'ils leur servent en interne pour faire le lien entre les ids en base et des noms de fichier par exemple.
Par exemple regarde au début de ce fichier : http://www.pluzz.fr/appftv/webservices/ … 2154124_F2

id-externe>manuel_yakari_20121122_964_22112012145719_F5
id-interne>000532648
ipro-id>539128

Alors que l'id-video est 72847754 (http://www.pluzz.fr/jt-13h-2012-11-22-12h59.html)

Pour les urls, celle du manifest est

mms://videozones.francetv.fr/france-dom-tom/Autre/Autre/2012/S47/J4/539405_jt_13h_20121122.wmv

alors quelle obtenue par la manière que j'ai décrite plus haut est

http://a988.v101995.c10199.e.vm.akamaistream.net/7/988/10199/3f97c7e6/ftvigrp.download.akamai.com/10199/cappuccino/production/publication/geoloc/france-dom-tom/Autre/Autre/2012/S47/J4/539405_jt_13h_20121122.wmv

11gjm

Re : TVDownloader: télécharger les médias du net !

Bonjour ,

@jchb :

http://www.pluzz.fr/jt-13h-2012-11-22-12h59.html
Comment as-tu récupéré cet id-interne "000532905" ?

Cordialement .

jchb

Re : TVDownloader: télécharger les médias du net !

Bha il est donné dans le fichier final, étape 4) du post où j'ai expliqué la démarche. (post #2411)
Le soucis c'est qu'il me le faut bien avant.
Je cherche donc une manière de l'obtenir autrement. SI quelqu'un a une idée je suis tout ouïe.

Sinon faut trouver une autre solution pour obtenir l'id-externe.

Dernière modification par jchb (Le 22/11/2012, à 23:03)

magestik

Re : TVDownloader: télécharger les médias du net !

Pour info je suis connecté sur le chan IRC #pluzzdl du réseau EFnet. Ça ira plus vite pour partager nos idées.

Je viens d'essayer, mais il n'y a personne ; je dois être rouillé avec IRC...

Oups j'étais sur Freenode

Et je viens de perdre 2h à essayer d'installer le player flash sous Windows mais ça marche pas ! Leurs serveurs de téléchargement doivent être en panne

Dernière modification par magestik (Le 22/11/2012, à 23:04)

JUL1EN094

Re : TVDownloader: télécharger les médias du net !

Ce n'est plus le sha256 du swf décompressé ?

Bonsoir,

Moi j'utilise le portage de rimram31 sur xbmc.

j'ai vérifier le hash correspond toujours au player décompressé, puis encodé en sha256 puis en base 64.

(J'ai regardé les trace de la requete pvtoken générées par mon navigateur avec Firebug, puis vérifié la valeur retournée par la fonction dans pluzzdl).
le player est :
http://static.francetv.fr/players/Flash.H264/player.swf

Tu hash le résultat (Hexa) en sha256  puis encode en base64 (si j'ai bien compris la fct de pluzzdl):
HQdmBrjDDEFOKL8G0+nytaXs+rVBvP5+pCofU/wYyRQ=

==> C'est bien le même que dans la requete du pvtoken récupéré sur le navigateur

Dernière modification par JUL1EN094 (Le 23/11/2012, à 00:00)

magestik

Re : TVDownloader: télécharger les médias du net !

Bizarre parce que dans mon lien de test (que j'ai aussi récupéré avec Firebug) le hash c'est ça :
47DEQpj8HBSa+/TImW+5JCeuQeRkm5NMpJWZG3hSuFU=

Dernière modification par magestik (Le 22/11/2012, à 23:59)

JUL1EN094

Re : TVDownloader: télécharger les médias du net !

Bizarre parce que dans mon lien de test (que j'ai aussi récupéré avec Firebug) le hash c'est ça :
47DEQpj8HBSa+/TImW+5JCeuQeRkm5NMpJWZG3hSuFU=

salut,

Je peut me tromper...
Peut être juste qu'on ne parle pas de la même chose qd on parle de hash (moi g des pb avec le vocabulaire désolé).

Par exemple, quand je lance une vidéo dans firefox, et que je regarde les paramètres de la requete pour récupéré le fragment, j'ai ceci en paramètre :
als    3.28,3,0,0,266,25938,0,0,0,29,f,0,1475.88,f,s,HBXHCDUHHDOJ,2.8.0,29
hdcore    2.8.0
hdntl    exp=1353711937~acl=/z/streaming-adaptatif_france-dom-tom/2012/S47/J4/72787744-20121122-*~data=hdntl~hmac=2c389018d39f61a3f4658e3d2afd503fa263bac092453022274a1e2593269247
pvtoken    st=0000000000~exp=9999999999~acl=%2f%2a~data=ZXhwPTEzNTM3MTE5Mzd YWNsPSUyZip ZGF0YT1wdmMsc35obWFjPWI1MDc0NDY0M2IwNzA4YjNmNTU4YTQ0YTM3YTFiNzQxZTFiMWY3Y2EyMzIzMTlmODk0ODIyNzMzMmI5ZWNmYTc=!HQdmBrjDDEFOKL8G0 nytaXs rVBvP5 pCofU/wYyRQ=~hmac=08F71209FCFC7D1B7454BEA0C4388184BF4F8D2308B1409A34886DABA7E2F86C

hdntl => on sait comment le récupéré
hdcore => fixe 2.8.0
als => pas besoin pour signer a mon avis
pvtoken= une chaine de caractere que l'on sait généré suivi de ~hmac=xxxxx

La chainé généré = "st=0000000000~exp=9999999999~acl=%2f%2a~data="+chaine récupérée du manifest+"!"+hashduplayer= player décompressé puis hashé en sha256 puis encoder en base64

Pour moi c'est ca le hash du player.

Maintenant je ne sais pas comment calculer le hmac derrière si quelqu'un a. Il semble que ce soit également le résultat d'un hash sha256.

magestik

Re : TVDownloader: télécharger les médias du net !

Oui on parle bien du même truc ... Voilà le pvtoken tiré de l'adresse qui m'intéresse :

st=0000000000~exp=9999999999~acl=%2f%2a~data=ZXhwPTEzNTM2MTU4NDV YWNsPSUyZip ZGF0YT1wdmMsc35obWFjPWYzMmIxZWY4ZjhhYjA2YzMwNzJlODMwYmEwYTU4ZTk3MjdkNzA0YWNkNDU1MDMwYzFjMjk5OGUwZjZhZjdjMzY=!47DEQpj8HBSa /TImW 5JCeuQeRkm5NMpJWZG3hSuFU=~hmac=751A61CD5077BE5E66E5CA37927AD590A691810C856CBC705B0964B0A6E1B9C5

Pour le HMAC j'aurais du avancer ce soir si Flash s'était installé correctement ...

Du coups, je suis allé sur IRC et Jchb s'est connecté. Et on a (très rapidement, c'est presque tombé du ciel) trouvé une toute nouvelle technique pour récupérer n'importe quelle vidéo !

On prépare le code qui va bien et on vous donne tout ça Il est déjà tard donc on fera ça dès demain. Par contre, je vous préviens d'avance, je pense pas que la qualité sera la même qu'avec les fragments.

Dernière modification par magestik (Le 23/11/2012, à 01:09)

JUL1EN094

Re : TVDownloader: télécharger les médias du net !

Sur quel vidéo je vais vérifier ce que ca donne che moi sur la meme video ?

Edit :
Et voici la fonction qui me renvoie la même valeur :

playerData = self.navigateur.getFichier( "http://static.francetv.fr/players/Flash.H264/player.swf" )
           
 # Uncompress SWF player
playerDataUncompress = self.decompressSWF( playerData )
            
# Perform sha256 of uncompressed SWF player
hashPlayer = hashlib.sha256( playerDataUncompress ).hexdigest()
print "hashPlayer : "+hashPlayer.encode( 'utf-8' )

# Perform base64
print "final : "+base64.encodestring( hashPlayer.decode( 'hex' ) )

Dernière modification par JUL1EN094 (Le 23/11/2012, à 01:14)