TVDownloader: télécharger les médias du net !

Mc Doul · Le 12/05/2012, à 15:05

Quelqu'un a une idée de ce qui peut causer un problème de parsing du manifest?
Que ce soit sur Debian ou Arch Linux et sur plusieurs vidéos différentes j'ai ça :

[CRITICAL]  PluzzDL.py          Impossible de parser le manifest

En affichant l'exception j'ai eu un truc du genre "NoneType as no attribute 'text'", sûrement levée à la ligne

self.duree     = float( arbre.find( "{http://ns.adobe.com/f4m/1.0}duration" ).text )

ou un peu après.

Ou alors est-ce que quelqu'un peut me dire si les vidéos suivantes marchent :

http://www.pluzz.fr/on-n-est-pas-que-des-cobayes-.html
http://www.pluzz.fr/kadhafi-mort-ou-vif.html

Python 2.6.6 (debian squeeze) et 2.7.3 (arch linux), PluzzDL 0.8.2

chaoswizard · Le 12/05/2012, à 15:47

Bizarre, j'arrive très bien à charger ces vidéos...
Essaye d'enlever des try-except dans le code pour avoir plus d'infos ou dans le pire des cas, si c'est juste la durée qui pose problème, met un :

self.duree     = 0

Dernière modification par chaoswizard (Le 12/05/2012, à 15:48)

Mc Doul · Le 13/05/2012, à 03:34

chaoswizard a écrit :

Bizarre, j'arrive très bien à charger ces vidéos...
Essaye d'enlever des try-except dans le code pour avoir plus d'infos ou dans le pire des cas, si c'est juste la durée qui pose problème, met un :
self.duree     = 0

Ok j'ai creusé un peu, voilà le dump du manifest :

<ns0:manifest xmlns:ns0="http://ns.adobe.com/f4m/1.0">  <ns0:id>/geoloc.mp4_0</ns0:id>  <ns0:streamType>recorded</ns0:streamType>  <ns0:duration>10.112</ns0:duration>  <ns0:bootstrapInfo id="bootstrap_0" profile="named">AAAAe2Fic3QAAAAAAAABQgAAAAPoAAAAAAAAJ4AAAAAAAAAAAAAAAAAAAQAAABlhc3J0AAAAAAAAAAABAAAAAQAAAAEBAAAANmFmcnQAAAAAAAAD6AAAAAACAAAAAQAAAAAAAAAAAAAngAAAAAAAAAAAAAAAAAAAAAAA</ns0:bootstrapInfo>  <ns0:media bitrate="80" bootstrapInfoId="bootstrap_0" url="http://ftvodhdsecz-f.akamaihd.net/z/geoloc.mp4/0_3443b47e2e793d05_">    <ns0:metadata>AgAKb25NZXRhRGF0YQgAAAAMAAhkdXJhdGlvbgBAJDlYEGJN0wAFd2lkdGgAQIQAAAAAAAAABmhlaWdodABAdoAAAAAAAAANdmlkZW9kYXRhcmF0ZQBAUwAAAAAAAAAJZnJhbWVyYXRlAEA5AAAAAAAAAAx2aWRlb2NvZGVjaWQAQBwAAAAAAAAADWF1ZGlvZGF0YXJhdGUAQBAAAAAAAAAAD2F1ZGlvc2FtcGxlcmF0ZQBB13AAAAAAAAAPYXVkaW9zYW1wbGVzaXplAEAwAAAAAAAAAAZzdGVyZW8BAQAMYXVkaW9jb2RlY2lkAEAkAAAAAAAAAAhmaWxlc2l6ZQBA+LCgAAAAAAAAAw==</ns0:metadata>  </ns0:media></ns0:manifest>

Il manque le tag pv2, bizarre non?

[edit] NON PAS BIZARRE, en fait je me connectais soit de l'étranger, soit d'une ip française un peu spéciale qui ne doit pas être autorisée par pluzz. En passant par une ip française plus normale ça marche.
Pour la petite histoire, cette machine avec une ip normale est sous debian lenny, donc python 2.5, donc pas d'argparse et donc pluzzdl peut pas marcher. J'ai patché comme un porc: remplacé argparse par des valeurs en dur qui me vont bien (optparse irait bien, pour faire propre), ajouté un import future pour with open() dans Historique, et fait un opener maison basé sur urllib pour remplacer urllib2 qui me sort des 400 (sûrement dûes à une limitation dans les vieilles versions d'urllib2). Ca marche ;-)

Dernière modification par Mc Doul (Le 13/05/2012, à 06:00)

chaoswizard · Le 13/05/2012, à 09:45

Et ben.
Ça n'aurait pas été plus simple d'installer un Python 2.7 ?

thom83 · Le 13/05/2012, à 11:00

Ça n'aurait pas été plus simple d'installer un Python 2.7 ?

Ou tout simplement le paquet python-argparse. Par exemple, il ne m'a pas paru possible d'installer python 2.7 sur Ubuntu Lucid : pas de paquet tout prêt, risque de casser le système en remplaçant la version existante de python évoqué (le risque) sur les forums américains que j'ai parcourus.

Mc Doul · Le 14/05/2012, à 04:41

python-argparse n'est pas dispo pour debian lenny (pas de backport non plus), et je voulais pas casser quoi que ce soit sur cette machine, elle a une certaine importance.

[edit] ah et j'ai finalement remplacé argparse par optparse dans le source, ça donne ça:

    # Arguments de la ligne de commande
    usage   = "pluzzdl [options] urlEmission"
    parser  = optparse.OptionParser( usage = usage, description = "Télécharge les émissions de Pluzz", version = "pluzzdl %s" %( __version__ ))
    parser.add_option( "-f", "--fragments",   action = "store_true", default = False, help = 'télécharge la vidéo via ses fragments même si un lien direct existe' )
    parser.add_option( "-r", "--resume",      action = "store_true", default = False, help = 'essaye de reprendre un téléchargement interrompu' )
    parser.add_option( "-b", "--progressbar", action = "store_true", default = False, help = 'affiche la progression du téléchargement' )
    parser.add_option( "-p", "--proxy", dest = "proxy", metavar = "PROXY",            help = 'utilise un proxy HTTP au format suivant http://URL:PORT' )    
    parser.add_option( "-v", "--verbose",     action = "store_true", default = False, help = 'affiche les informations de debugage' )
    parser.add_option( "--nocolor",           action = 'store_true', default = False, help = 'désactive la couleur dans le terminal' )
    opts, args = parser.parse_args()
    if len(args) != 1:
        parser.error("Veuillez fournir l'url de l'émission")
    opts.urlEmission = args[0]
    args = opts

Dernière modification par Mc Doul (Le 14/05/2012, à 04:43)

chaoswizard · Le 14/05/2012, à 17:55

Il y a une version précédente qui utilise optparse : ICI

k3c · Le 16/05/2012, à 07:24

Ave

Pour le plugin pour TF1, je crois que l'on peut s'inspirer du plugin XBMC (en Python)
http://vm.damota.net/tf1-replay-pour-xbmc/

et comme TF1 est en fait chez Wat, de (en Perl)
https://github.com/monsieurvideo/get-fl … ite/Wat.pm

extrait de la partie token

for vid in parts:
        print "part: " + vid
        #get the episode url,
        # pour la clé, merci à https://github.com/monsieurvideo/get-flash-videos/blob/master/lib/FlashVideo/Site/Wat.pm
        # sans quoi rien n'eut été possible
        # je pourrai mourir en paix lorsque je saurai trouver ce genre de truc tout seul :))
        if hasHD:
            wat_url = "/webhd/" + vid
        else:
            wat_url = "/web/" + vid
        key = "9b673b13fa4682ed14c3cfa5af5310274b514c4133e9b3a81e6e3aba00912564"
        #on a besoin du timestamp en hexa sans le 0x du début
        dthex = hex(int(time.time()))[2:]

        h = md5.new()
        h.update(key + wat_url + dthex)
        token = h.hexdigest() + "/" + dthex

        #print "token : " + token

        if hasHD:
            url4videoPath = WATSITE + "/get/webhd/" + vid + "?token=" + token + "&domain=videos.tf1.fr&context=swfpu&country=FR&getURL=1&version=LNX%2011,1,102,55"
        else:
            url4videoPath = WATSITE + "/get/web/" + vid + "?token=" + token + "&domain=videos.tf1.fr&context=swfpu&country=FR&getURL=1&version=LNX%2011,1,102,55"
        print "url4video : " + url4videoPath

        #cette url envoi comme réponse la réelle adresse de la vidéo
        req = urllib2.Request(url4videoPath)
        req.add_header('User-Agent', USERAGENT)
        req.add_header('Referer' , referer_url)
        response = urllib2.urlopen(req).read()
        if DEBUG:
            print "reponse"
            print response

Je tente.

Babar21 · Le 16/05/2012, à 11:35

Et merde...

none@none-K50AF:/Vidéos$ pluzzdl -f -b [url]http://www.pluzz.fr/assassinee-2012-05-15-20h35.html[/url] -v
[DEBUG   ]  main.py             pluzzdl 0.8.3 avec Python 2.7.3
[INFO    ]  Historique.py       Historique chargé
[DEBUG   ]  Navigateur.py       GET [url]http://www.pluzz.fr/assassinee-2012-05-15-20h35.html[/url]
[DEBUG   ]  PluzzDL.py          ID de l'émission : 63395196
[DEBUG   ]  Navigateur.py       GET [url]http://www.pluzz.fr/appftv/webservices/video/getInfosOeuvre.php?mode=zeri&id-diffusion=63395196[/url]
[DEBUG   ]  PluzzDL.py          Lien MMS : None
[DEBUG   ]  PluzzDL.py          Lien RTMP : None
[DEBUG   ]  PluzzDL.py          URL manifest : [url]http://ftvodhdsecz-f.akamaihd.net/z/streaming-adaptatif_france-dom-tom/2012/S20/J2/63395196-20120515-,398,632,934,k.mp4.csmil/manifest.f4m[/url]
[DEBUG   ]  PluzzDL.py          Utilisation de DRM : non
[DEBUG   ]  Navigateur.py       GET [url]http://hdfauth.francetv.fr/esi/urltokengen2.html?url=/z/streaming-adaptatif_france-dom-tom/2012/S20/J2/63395196-20120515-,398,632,934,k.mp4.csmil/manifest.f4m[/url]
[DEBUG   ]  Navigateur.py       GET [url]http://ftvodhdsecz-f.akamaihd.net//z/streaming-adaptatif_france-dom-tom/2012/S20/J2/63395196-20120515-,398,632,934,k.mp4.csmil/manifest.f4m?hdnea=exp=1337164904~acl=%2fz%2fstreaming-adaptatif_france-dom-tom%2f2012%2fS20%2fJ2%2f63395196-20120515-*~hmac=4383b0c218b1ae51af3e6e4208798f92afa8a990458ff409b79628fac9c8046c[/url]
[DEBUG   ]  PluzzDL.py          Estimation du nombre de fragments : 774
[INFO    ]  PluzzDL.py          Début du téléchargement des fragments
[DEBUG   ]  Navigateur.py       GET [url]http://ftvodhdsecz-f.akamaihd.net//z/streaming-adaptatif_france-dom-tom/2012/S20/J2/63395196-20120515-,398,632,934,k.mp4.csmil/2_a785c16e5dd39014_Seg1-Frag1?pvtoken=st%3D0000000000%7Eexp%3D9999999999%7Eacl%3D%252f%252a%7Edata%3DZXhwPTEzMzcyNTA3MDR%2BYWNsPSUyZip%2BZGF0YT1wdmMsc35obWFjPTU4OTdlNDZjOGZhNTdjMDA5M2FhN2RjMDVkN2JmMDFhNzA5ZGYyOGU3MmRmYzY1ZTA5MjU1YjVmMzc3ZDdmMzI%3D%213fPHzcjMxiTmRj5AdV0bhzgjjSjk2PqUMBzFxgPEPF4%3D~hmac=663e1fb9547aa8563586a31f4ba58403003ff45be3811576a878b137833235ad&hdntl=exp=1337250704~acl=%2fz%2fstreaming-adaptatif_france-dom-tom%2f2012%2fS20%2fJ2%2f63395196-20120515-*~data=hdntl~hmac=de4aa7d96e0d5f4bbbd9638590b04391dcbddbe32307c5eee7778ffd1429fedf&hdnea=exp=1337164904~acl=%2fz%2fstreaming-adaptatif_france-dom-tom%2f2012%2fS20%2fJ2%2f63395196-20120515-*~hmac=4383b0c218b1ae51af3e6e4208798f92afa8a990458ff409b79628fac9c8046c[/url]
[DEBUG   ]  Navigateur.py       Forbidden
[CRITICAL]  PluzzDL.py          Impossible de charger la vidéo
[INFO    ]  Historique.py       Historique sauvé

Dernière modification par Babar21 (Le 16/05/2012, à 11:36)

k3c · Le 16/05/2012, à 11:46

Bon, on dirait que Pluzz a changé quelque chose, car j'ai tenté 2 vidéos au hasard, et j'ai comme toi

http://www.pluzz.fr/couleurs-outremers- … 09h25.html
et
http://www.pluzz.fr/passation-de-pouvoi … et-fh.html

:-(

chaoswizard · Le 16/05/2012, à 17:15

Bon, ben ils ont du changer la clef...

thom83 · Le 16/05/2012, à 19:48

Bonsoir,
Pour moi, le programme a parfaitement fonctionné, ce matin avant 10 h 42, pour la video assassinee-2012-05-15-20h35.html.
Chaque fois que j'ai eu un problème avec pluzzdl depuis sa dernière modification, c'était un problème d'adsl (le wifi en particulier).

chaoswizard · Le 16/05/2012, à 19:54

Ouais, enfin là, le Forbidden sur le premier fragment n'annonce rien de bon !

Babar21 · Le 16/05/2012, à 20:57

Mon ADSL marche bien et mon IP est française. Et ça marchait très bien avant.

bibichouchou · Le 18/05/2012, à 14:46

salut à tous,

bon, malheureusement, pluzzdl ne fonctionne plus pour l'instant, donc les remarques ci-dessous ne sont pas prioritaires.

1/ fonction reprendre
j'ai testé la fonction reprendre de pluzzdl mardi dernier. je l'avais aussi suggérée au mois de février (ici http://forum.ubuntu-fr.org/viewtopic.ph … 1#p8074231). alors merci à chaoswizard de l'avoir codé.
ça marche plutôt bien. qd je l'ai testé, ma connexion internet était très mauvaise (hotspot wifi). Par contre, une fois j'ai eu l'erreur 403 "Connection reset by peer", et l'historique n'a pas été sauvegardé correctement (n'a pas été sauvegardé du tout, je crois). Et le téléchargement a repris au fragment 188 (historique précédent) au lieu du fragment 266.

2/ nombre de fragments
j'ai fait les tests ci-dessus avec les deux premiers épisodes de clash. et je signale que le nombre de fragments estimé est faux (du moins chez moi). il était indiqué environ 400 fragments, mais en tout 493 ont été rapatriés pour le premier épisode. soit un erreur d'environ 100 fragments. même chose pour le deuxième.

amicalement

Dernière modification par bibichouchou (Le 18/05/2012, à 14:47)

chaoswizard · Le 18/05/2012, à 14:52

1) Même avec la dernière version ?
J'avais du corriger le problème de la reprise des téléchargements.

2) Ben une estimation reste une estimation...

Il ne reste plus qu'a trouver comment avoir la nouvelle clef pour pluzz...

bibichouchou · Le 18/05/2012, à 15:01

ah oui, j'ai utilisé la version 8.1
ceci explique peut-être cela... désolé si c'est une fausse alerte.

bibichouchou · Le 18/05/2012, à 15:36

pour les fragments, il me semblait que l'erreur était inférieure à 5 - 10 fragments. c'est pourquoi j'ai été étonné mardi soir en voyant une erreur de presque 100 fragments.

Dernière modification par bibichouchou (Le 18/05/2012, à 16:40)

chaoswizard · Le 18/05/2012, à 19:35

Bon, c"est corrigé.

Comme dirait l'autre : "pourvu que ça dure !"...

Babar21 · Le 18/05/2012, à 21:01

Bravo et merci, avant même d'avoir testé !

fakbill · Le 20/05/2012, à 23:24

La toute derniere version fonctionne très bien. j'ai jsute du rajouter un petit bout de code car j'utilise un socks proxy. Si je ne suis pas le seul à faire ça, ça vaut peut être le coup de rajouter cette posibilité dans les options (en plus du proxy html)

miztadux · Le 20/05/2012, à 23:42

Content que ma modif fonctionne

Pour info, la "nouvelle clé" était déjà utilisée par le site quand j'ai fait ce patch, je l'avais remarquée en debugant et fait des tests avec...a ce moment les deux fonctionnaient, comme quoi on a un peu de temps pour la mettre à jour...

nerhom · Le 21/05/2012, à 12:45

peut-etre pas temps de temps que ça

Bonjour donc. Quelque chose a encore changé chez pluzz ? pas réussi à charger quoi que ce soit ce midi
(a commencer par doctor who ^^ ), pluzzdl 0.8.2 avec ou sans l'option -f , meme resultat, "impossible de charger la video"

Dernière modification par nerhom (Le 21/05/2012, à 12:47)

Babar21 · Le 21/05/2012, à 13:13

Il y a des fichiers protégés, particulièrement les séries sur France 4, on n'a jamais réussi à percer le mystère.

coucou123 · Le 21/05/2012, à 13:34

Bonjour !

J'ai TVdownloader 0.7.2, et il est impossible de telecharger les émissions de M6replay.
(et en plus il m'est impossible de regarder M6 replay...)

Le problème est-il connu ?

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1776 Le 12/05/2012, à 15:05

Re : TVDownloader: télécharger les médias du net !

#1777 Le 12/05/2012, à 15:47

Re : TVDownloader: télécharger les médias du net !

#1778 Le 13/05/2012, à 03:34

Re : TVDownloader: télécharger les médias du net !

#1779 Le 13/05/2012, à 09:45

Re : TVDownloader: télécharger les médias du net !

#1780 Le 13/05/2012, à 11:00

Re : TVDownloader: télécharger les médias du net !

#1781 Le 14/05/2012, à 04:41

Re : TVDownloader: télécharger les médias du net !

#1782 Le 14/05/2012, à 17:55

Re : TVDownloader: télécharger les médias du net !

#1783 Le 16/05/2012, à 07:24

Re : TVDownloader: télécharger les médias du net !

#1784 Le 16/05/2012, à 11:35

Re : TVDownloader: télécharger les médias du net !

#1785 Le 16/05/2012, à 11:46

Re : TVDownloader: télécharger les médias du net !

#1786 Le 16/05/2012, à 17:15

Re : TVDownloader: télécharger les médias du net !

#1787 Le 16/05/2012, à 19:48

Re : TVDownloader: télécharger les médias du net !

#1788 Le 16/05/2012, à 19:54

Re : TVDownloader: télécharger les médias du net !

#1789 Le 16/05/2012, à 20:57

Re : TVDownloader: télécharger les médias du net !

#1790 Le 18/05/2012, à 14:46

Re : TVDownloader: télécharger les médias du net !

#1791 Le 18/05/2012, à 14:52

Re : TVDownloader: télécharger les médias du net !

#1792 Le 18/05/2012, à 15:01

Re : TVDownloader: télécharger les médias du net !

#1793 Le 18/05/2012, à 15:36

Re : TVDownloader: télécharger les médias du net !

#1794 Le 18/05/2012, à 19:35

Re : TVDownloader: télécharger les médias du net !

#1795 Le 18/05/2012, à 21:01

Re : TVDownloader: télécharger les médias du net !

#1796 Le 20/05/2012, à 23:24

Re : TVDownloader: télécharger les médias du net !

#1797 Le 20/05/2012, à 23:42

Re : TVDownloader: télécharger les médias du net !

#1798 Le 21/05/2012, à 12:45

Re : TVDownloader: télécharger les médias du net !

#1799 Le 21/05/2012, à 13:13

Re : TVDownloader: télécharger les médias du net !

#1800 Le 21/05/2012, à 13:34

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums