TVDownloader: télécharger les médias du net !

czed · Le 28/02/2012, à 09:43

chaoswizard a écrit :

Ils ont encore changé un truc ?!
EDIT : Ah ben oui.
Il y a le "?pvtoken=..." pour chaque fragment et le cookie qui change à chaque fois...
Pfff...

A priori un seul cookie perso (généré à partir de l'ordinateur qui veut téléchargé) suffit pour l'instant, j'ai pu télécharger une émission en entier avec.
Maintenant ils doivent associer le cookie à l'adresse IP de l'utilisateur je pense.
Chaque utilisateur devra aller récupérer son cookie, c'est moins simple, mais c'est mieux que rien

A+

k3c · Le 28/02/2012, à 10:27

Je confirme, en reprenant la version de Pluzzdl avec le superbe commentaire "modif à la con" et en y mettant un cookie tout neuf, ça marche.

Donc maintenant plusieurs possibilités :
- on trouve un moyen pour mechanize de traiter du Javascript et donc de lancer la video (donc générer le cookie)
- on trouve la méthode pour générer ce cookie

Autres idées ?

k3c · Le 28/02/2012, à 12:15

@ububerlue

Tu prends les fichiers qui sont là
http://tvdownloader.googlecode.com/hg/other/Pluzz/src/
Je pense que le Navigateur.py seul doit suffire, mais si tu prends les 4, ça ira.

grep con abcd/Navigateur.py
            # Modif à la con du cookie >< !
grep IDENT abcd/Navigateur.py
                    if( cookie.name == "hdntl" and cookie.value.find( "PV-IDENT" ) == -1 ):
                        cookie.value += "; PV-IDENT=exp=1330502732~acl=%2f*~hmac=732e8a90f1ef94f8a37a55de89d1dee787a82521848aa544c90b54a2edf3a89c"

Ne mets pas mon cookie, il est lié à mon adresse IP, ça ne marchera donc pas pour toi, c'est juste un exemple

k3c · Le 28/02/2012, à 12:55

@ ububerlue

J'utilise l'extension HttpFox

Elle montre, quand pluzz récupère le manifest (fichier f4m), 2 cookies

PV-IDENT    exp=1330469053~acl=%2f*~hmac=c495be52176012d5980e397af92d1c2a8a0924b1a51a1d997ff2d1945aaeaf3b    /    ftvodhdsecz-f.akamaihd.net    Tue, 01-Jan-1980 12:00:00 GMT
hdntl                    exp=1330502714~acl=%2fz%2fstreaming-adaptatif_france-dom-tom%2f2012%2fS09%2fJ1%2f59934998-20120227-*~data=hdntl~hmac=39df510c6007625f3c5ee483f006470bc5f52c0ede7b699b8b1ab6a76bb5e219    /    ftvodhdsecz-f.akamaihd.net    End Of Session

ub821 · Le 28/02/2012, à 15:33

Qui qui, a trouvé pour quelle raison le fichier navigateur.py, chez moi, après lui avoir inséré le gâteau angliche, refuse de fonctionner, en #1413 ?

ub821 a écrit :

Bon... et bien j'ai tenté de changer le cookie dans navigateur.py et voilà ce que çà m'indique :

[bernard@bernard-desktop:~/PluzzVersion1] $ python main.py -f http://www.pluzz.fr/rugby--ecosse---france.html
Traceback (most recent call last):
  File "main.py", line 24, in <module>
    from PluzzDL        import PluzzDL
  File "/home/bernard/PluzzVersion1/PluzzDL.py", line 22, in <module>
    from Navigateur import Navigateur
  File "/home/bernard/PluzzVersion1/Navigateur.py", line 61
    cookie.value += "; PV-IDENT=exp=1330462904~acl=%2f*~hmac=d4e79365cc07e15fbb5b7ac5dca0231acb425ff4f6a013bc3bc8fac26e40f757
                                                                                                                            ^
SyntaxError: EOL while scanning string literal
[bernard@bernard-desktop:~/PluzzVersion1] $

je change le cookie et :

[bernard@bernard-desktop:~/PluzzVersion1] $ python main.py -f http://www.pluzz.fr/rugby--ecosse---france.html
Traceback (most recent call last):
  File "main.py", line 24, in <module>
    from PluzzDL        import PluzzDL
  File "/home/bernard/PluzzVersion1/PluzzDL.py", line 22, in <module>
    from Navigateur import Navigateur
  File "/home/bernard/PluzzVersion1/Navigateur.py", line 61
    cookie.value += "; PV-IDENT=exp=1330464809~acl=%2f*~hmac=b9da419373085b5ec03d1572d66238d45c4a11ce0de743524a300b140aa14d60
                                                                                                                            ^
SyntaxError: EOL while scanning string literal
[bernard@bernard-desktop:~/PluzzVersion1] $

J'ai changé que la ligne de cookie.value dans navigateur.py

Où ai-je fait la boulette comme dit k3c

Avec toutes les nouvelles modifications de leur site, je me demande s'il ne faudrait pas envisager de passer ce sous-forum en mode privé...

Vous trouvez normal que vous découvrez une astuce et pratiquement dans les 24h elle est "contrée" ?

Au fur et à mesure que vous trouvez des astuces pour faire fonctionner tvd ou pluzdl, il y a une parade... bon, j'sais, j'suis parano... mais malheureusement commençant à connaitre l'Âme humaine, plus rien ne m'étonnera

A vous lire

Dernière modification par ub821 (Le 28/02/2012, à 15:36)

Babar21 · Le 28/02/2012, à 15:41

Il faut faire une mailing-list.

k3c · Le 28/02/2012, à 15:43

@ub821

tu devrais utiliser un éditeur de texte avec coloration syntaxique, qui hurle quand il y a un
"
ouvrant et pas de fermant.
J'ai l'impression que c'est ton cas.

@babar21

Juste un problème, comment on sait qu'une personne de la liste n'est pas un développeur de Pluzz ?

Dernière modification par k3c (Le 28/02/2012, à 15:44)

ub821 · Le 28/02/2012, à 15:45

Babar21 a écrit :

Il faut faire une mailing-list.

Et malheureusement... car peut-être qu'une taupe s'est glissée, mais vérifier à chaque fois, si dans les 24h quelques choses changent, et cela de façon très simple... cela sera de mettre que les gensses en qui on a confiance !

Et aucun problème pour moi, qui arrive en dernier, d'être sur la liste d'attente... le temps de trouver qui qui s'amuse avec la créativité des Autres !
parce que faire des clés de chiffrage à x nombres... c'est loin d'être honorant !

Vala, j'finis mon coup de gueule

Babar21 · Le 28/02/2012, à 15:47

De toute façon, faut être honnête, on squatte un peu les forums d'Ubuntu, là, y'a même des gens sous Windows qui viennent discuter de Pluzzdl, ils n'ont pas tort vu que c'est ici que ça se passe, mais bon.

ub821 · Le 28/02/2012, à 15:48

k3c a écrit :

@ub821
tu devrais utiliser un éditeur de texte avec coloration syntaxique, qui hurle quand il y a un
"
ouvrant et pas de fermant.
J'ai l'impression que c'est ton cas.
@babar21
Juste un problème, comment on sait qu'une personne de la liste n'est pas un développeur de Pluzz ?

je vais mettre le "

Pour la liste, j'ai mis juste une idée... dans le post au dessus... j'sais, c'est un peu compliqué, mais lorsqu'il y a des genses peu "sympa", on se met à leur niveau... c'est à dire, on s'abaisse

ub821 · Le 28/02/2012, à 15:56

k3c a écrit :

@ub821
tu devrais utiliser un éditeur de texte avec coloration syntaxique, qui hurle quand il y a un
"
ouvrant et pas de fermant.
J'ai l'impression que c'est ton cas.
...

C'était çà...
Merci k3c

Je tente les mots croisés, à défaut de croisés les bras...

Cependant, je m'étais fixé sur le post que j'avais indiqué... ben zalors chaoswizard...

ynad · Le 28/02/2012, à 18:51

bonsoir à tous,

c'est à peine croyable, il n'y qu'en France et que sur "Pluzz" que ce problème existe ??
et ceux qui sont sous win$ ne téléchargent plus rien non plus sur "Pluzz" ??
c'est quand même pas possible que les mecs de "Pluzz" modifient aussi souvent le système et uniquement pour empêcher le téléchargement, je suis complétement écœuré.
Bravo et sincères félicitations à tous ceux qui s'accrochent pour coder...

"un petit utilisateur" ....

Dernière modification par ynad (Le 28/02/2012, à 19:03)

Ububerlue · Le 28/02/2012, à 19:09

ynad a écrit :

bonsoir à tous,
c'est à peine croyable, il n'y qu'en France...
et ceux qui sont sous Windows ne téléchargent plus rien non plus sur "Pluzz" ??
c'est quand même...

No, no, Pluzz ça gazouille sur windows, aujourd'hui même.
Si tu installes un interpreteur python, avec récup cook local, en utilisant les scripts.

@chaoswizard
Ch'peux participer au dev (python, QT, plugin, ..) mais mollo! je quitte ma rouille...
... le temps que je me familiarise

Dernière modification par Ububerlue (Le 28/02/2012, à 21:05)

chaoswizard · Le 28/02/2012, à 19:52

ub821 a écrit :

k3c a écrit :
il manque pas un "
après 14d60, à la fin de la ligne ?
Ben c'est ce que chaoswizard avait souligné à supprimer... sur ta discussion... #1397
bouhhhhhhhhhh si c'est çà... j'vais m'coucher...

On ne parlait pas du code Python à ce moment là...

k3c a écrit :

@ chaoswizard
On dirait qu'ils prennent de manière aléatoire les n premiers caractères du cookie, j'ai lancé "Riding zone", puis ton grep dans pluz.log

Ouais, après, c'est peut être mon grep qui foire parce que je trouve bizarre la forme des cookies.

Pour ce qui est de la maling-list, ça peut être une idée.
Pour ce qui est de faire quelque chose de privé, ça sera sans moi : l'idée de base était quand même de faire quelque chose d'ouvert.
Si c'est pour tout masquer, je n'en vois pas l’intérêt...

grandtoubab · Le 28/02/2012, à 21:56

ça psychote ou quoi?
en changeant manuellement, via Opera, comme je l'ai décrit plus haut ça marche toujours

# Modif à la con du cookie >< !
for cookie in self.cookiejar:
if( cookie.name == "hdntl" and cookie.value.find( "PV-IDENT" ) == -1 ):
cookie.value += ";PV-IDENT=exp=1330544233~acl=%2f*~hmac=88bb3347b2f6291894fceb531698b5315d8c87e035d2d631803413df5c1b6f95"

@ubuntu-desktop:~/Linux/new_pluzz$  python main.py http://www.pluzz.fr/youssou-n-dour.html
[INFO    ]  PluzzDL.py          Début du téléchargement des fragments

Dernière modification par grandtoubab (Le 28/02/2012, à 22:06)

ub821 · Le 28/02/2012, à 21:59

chaoswizard a écrit :

...
On ne parlait pas du code Python à ce moment là...
...

Ah ben voui...

chaoswizard a écrit :

Pour ce qui est de la maling-list, ça peut être une idée.
Pour ce qui est de faire quelque chose de privé, ça sera sans moi : l'idée de base était quand même de faire quelque chose d'ouvert.
Si c'est pour tout masquer, je n'en vois pas l’intérêt...

C'était une idée comme une autre, pour éviter que vous cherchiez, et que les autres... pompent, et bloquent...

grandtoubab · Le 28/02/2012, à 22:13

grandtoubab a écrit :

ça psychote ou quoi?
en changeant manuellement, via Opera, comme je l'ai décrit plus haut ça marche toujours
# Modif à la con du cookie >< !
for cookie in self.cookiejar:
if( cookie.name == "hdntl" and cookie.value.find( "PV-IDENT" ) == -1 ):
cookie.value += ";PV-IDENT=exp=1330544233~acl=%2f*~hmac=88bb3347b2f6291894fceb531698b5315d8c87e035d2d631803413df5c1b6f95"
@ubuntu-desktop:~/Linux/new_pluzz$  python main.py http://www.pluzz.fr/youssou-n-dour.html
[INFO    ]  PluzzDL.py          Début du téléchargement des fragments

[INFO    ]  PluzzDL.py          Fin du téléchargement
@ubuntu-desktop:~/Linux/new_pluzz$ ls -alrt
total 531200
-rw-r--r--  1       1409 2012-02-23 18:05 ColorFormatter.py
-rw-r--r--  1       7244 2012-02-23 18:06 PluzzDL.py
-rw-r--r--  1       2479 2012-02-23 18:06 main.py
-rw-r--r--  1       8118 2012-02-23 18:07 PluzzDL.pyc
-rw-r--r--  1       1697 2012-02-23 18:07 ColorFormatter.pyc
-rw-r--r--  1        101 2012-02-23 18:47 how_to.txt
-rw-r--r--  1 t      2372 2012-02-25 09:11 Navigateur.py~
drwxr-xr-x 22       12288 2012-02-25 17:31 ..
-rw-r--r--  1       2371 2012-02-28 20:40 Navigateur.py
-rw-r--r--  1       2770 2012-02-28 20:41 Navigateur.pyc
drwxr-xr-x  2       4096 2012-02-28 20:41 .
-rw-r--r--  1  543350132 2012-02-28 21:10 youssou-n-dour.flv

Ububerlue · Le 28/02/2012, à 22:21

grandtoubab a écrit :

ça psychote ou quoi?
en changeant manuellement, via Opera, comme je l'ai décrit plus haut ça marche toujours
# Modif à la con du cookie >< !
for cookie in self.cookiejar:
if( cookie.name == "hdntl" and cookie.value.find( "PV-IDENT" ) == -1 ):
cookie.value += ";PV-IDENT=exp=1330544233~acl=%2f*~hmac=88bb3347b2f6291894fceb531698b5315d8c87e035d2d631803413df5c1b6f95"
@ubuntu-desktop:~/Linux/new_pluzz$  python main.py http://www.pluzz.fr/youssou-n-dour.html
[INFO    ]  PluzzDL.py          Début du téléchargement des fragments

Lecture du code modifié pas top (empilage des lignes)
Ce qu'on veut c'est: "cookie local versus cookie global", donc je fais le switch à la source, dans pluzzDL.py, je remplace:

    # Modifie le cookie
        try:
            self.navigateur.appendCookie( "hdntl", self.navigateur.getFichier( "http://pluzzdl.orgfree.com/pluzzdl" ) )

par:

    # Modifie le cookie
        try:
            self.navigateur.appendCookie( "hdntl", "PV-IDENT=exp=1330523614~acl=%2f*~hmac=c73b5c04d............c5da84" )

Certes, le résultat, au final, c'est "kif-kif", mais c'est plus minimal, remplaçant "self.navigateur.getFichier()" par une possible valeur retournée.
La fonction dans navigateur.py reste inchangée.
... Et ça évite les erreurs d'édition! hi hi !

Dernière modification par Ububerlue (Le 29/02/2012, à 11:01)

chaoswizard · Le 28/02/2012, à 22:26

grandtoubab a écrit :

ça psychote ou quoi?
en changeant manuellement, via Opera, comme je l'ai décrit plus haut ça marche toujours

Ouais, enfin, s'il faut changer le cookie à main, je n’appelle pas vraiment ça marcher...

Au passage, je ne pense pas que les modifications pour nous empêcher de récupérer les vidéos soient prises en regardant le code du programme.

Dernière modification par chaoswizard (Le 28/02/2012, à 22:30)

ub821 · Le 28/02/2012, à 23:25

J'vais être présent mais beaucoup moins "actif"... quoique jusqu'à présent... j'ai fait que poser des questions...

Je reviens dans mes pénattes vers la fin du mois de Mars... 2012 hein

Ububerlue · Le 29/02/2012, à 10:34

Pas de parano ... "Franche T'es le vison" a autre chose à faire.
Weboob crée et maintient des applis interfaçant X sites, et chacune d'elles a son veilleur/développeur, puisque ces sites sont en perpétuelle évolution.

La vidéo Pluzz est parfois un ... puzzle! M'enfin ...

@Chaoswizard @k3c
On peut envisager quoi pour automatiser la récup du cookie local ?

Dernière modification par Ububerlue (Le 29/02/2012, à 11:31)

k3c · Le 29/02/2012, à 10:43

automatiser le cookie ?
sikuli
xautomation
actionaz

k3c · Le 29/02/2012, à 16:16

Allez, pour se changer les idées, une nouvelle version du script pour tv5mondeplus.

Des modifs mineures, le script reprend une vidéo interrompue, ce qui explique qu'on a des messages

get_filesize tv5_xxxxxxxxx.wmv: stat() error
No such file or directory
quand on télécharge pour la première fois une vidéo

Les vidéos de la catégorie "évènement" ne sont pas encore gérées, ce n'est pas bien compliqué, mais je voudrais faire quelque chose de modulaire

python tv5.py url_de_la_video

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# version 0.4 par k3c
from lxml import etree
from lxml import objectify
import subprocess, optparse, re
from urllib2 import URLError, Request, urlopen
import socket
timeout = 10

def get_url(the_url, skip_line=0):
    try:
        file = urlopen(the_url)
    except URLError, e:
        print e.code
        if hasattr(e, 'reason'):
            print 'Nous avons échoué à joindre le serveur.'
            print 'Raison: ', e.reason
        elif hasattr(e, 'code'):
            print 'Le serveur n\'a pu satisfaire la demande.'
            print 'Code d\' erreur : ', e.code
        raise
    for i in range(skip_line):
        file.readline()
    data = file.read()
    file.close()
    return objectify.fromstring(data)

def main():
    # timeout en secondes
    socket.setdefaulttimeout(timeout)
    usage   = "usage: python tv5     [options] <url de l'emission>"
    parser  = optparse.OptionParser( usage = usage )
    parser.add_option( "--nocolor",         action = 'store_true', default = False, help = 'desactive la couleur dans le terminal' )
    parser.add_option( "-v", "--verbose",   action = "store_true", default = False, help = 'affiche les informations de debugage' )
    ( options, args ) = parser.parse_args()
    # Vérification du nombre d'arguments
    if( len( args ) != 1 or args[ 0 ] == "" ):
        parser.print_help()
        parser.exit( 1 )
    if args[0][-4:] == "?t=1":
        args[0] = args[0][:-4]
    id = re.findall('[0-9]{5}[0-9]?$',args[0])
    # conversion string numérique
    id = ''.join(id)
    # les infos sur la vidéo sont accessibles là
    the_url = "".join('http://www.tv5mondeplus.com/video-xml/get/') + str(id)
    root = get_url(the_url)
    for element in root.iter():
        if element.tag == "permalink":
            titre = element.text
            tit = titre.split('/')[-1]
            # on enlève les 6 ou 7 derniers caractères qui sont - et 6 chiffres pour le nom du fichier et on ajoute tv5_ au début
            tit = tit[:-(len(id)+1)]
            tit = "tv5_"+tit+".wmv"
            # 2 cas, la video est sur la balise appleStreamingUrl, ou dans le .smil à 
            # la vidéo est sur appleStreamingUrl
        if element.tag == "appleStreamingUrl":
            video = element.text 
        # la vidéo est sur videoUrl, dans un .smil, que l'on va ouvrir
        # http://fr.wikipedia.org/wiki/Synchronized_Multimedia_Integration_Language
        if element.tag == "videoUrl":
            video = element.text
            # exemple de fichier .smil
            # <?xml version="1.0"?>
            #    <!DOCTYPE smil PUBLIC "-//W3C//DTD SMIL 2.0//EN" "http://www.w3.org/2001/SMIL20/SMIL20.dtd">
            #    <smil xmlns="http://www.w3.org/2001/SMIL20/Language">
            #    <head>
            #        <meta name="title" content="COURTS SEJOURS" />
            #        <meta name="httpBase" content="http://vodhdflash.tv5monde.com/" />
            #        <meta name="rtmpAuthBase" content="" />
            #    </head>
            #    <body>
            #        <switch id="tv5_catchup">
            #            <video src="tv5mondeplus/hq/3137682.mp4" system-bitrate="500000"/>
            #            <video src="tv5mondeplus/bq/3137682.mp4" system-bitrate="300000"/>
            #        </switch>
            #    </body>
            #    </smil>
            root = get_url(video,1)
            # le début de l'emplacement de la vidéo est à httpBase, c'est normalement 
            # http://vodhdflash.tv5monde.com/ 
            for x in root.head.getchildren():
                if x.get('name') == 'httpBase':
                    content = x.get('content')
            # la suite de l'emplacement de la video est à video src, 
            # et on prend la ligne avec le bit-rate le plus élevé
            # exemple de suite de l'emplacement, à concaténer
            # tv5mondeplus/hq/3137682.mp4
            itc = root.body.switch.getchildren()
            url = itc.pop()
            for x in itc:
                if x.get('system-bitrate') > url.get('system-bitrate'):
                    url = x
            url = url.get('src')

    args = ["/usr/bin/msdl","-c","--no-proxy", content + url , "-o", tit]

    app = subprocess.Popen(args=args, stdout=open('somefile', 'w'))
    app.wait()

if __name__ == "__main__":
    main()

Ububerlue · Le 01/03/2012, à 09:29

@k3c
C'est un plugin que tu développes pour TVD?

k3c · Le 01/03/2012, à 10:46

Oui tu auras noté au début
v 0.4

Mais bon c'est plus pour garder à l'esprit comment récupérer des vidéos, en attendant d'avoir trouvé le .xml qui décrit tout :
- titre des émissions
- durée
- résumé
- image pour illustrer
- emplacement de la vidéo
- ...
pour faire un vrai plugin

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1451 Le 28/02/2012, à 09:43

Re : TVDownloader: télécharger les médias du net !

#1452 Le 28/02/2012, à 10:27

Re : TVDownloader: télécharger les médias du net !

#1453 Le 28/02/2012, à 12:15

Re : TVDownloader: télécharger les médias du net !

#1454 Le 28/02/2012, à 12:55

Re : TVDownloader: télécharger les médias du net !

#1455 Le 28/02/2012, à 15:33

Re : TVDownloader: télécharger les médias du net !

#1456 Le 28/02/2012, à 15:41

Re : TVDownloader: télécharger les médias du net !

#1457 Le 28/02/2012, à 15:43

Re : TVDownloader: télécharger les médias du net !

#1458 Le 28/02/2012, à 15:45

Re : TVDownloader: télécharger les médias du net !

#1459 Le 28/02/2012, à 15:47

Re : TVDownloader: télécharger les médias du net !

#1460 Le 28/02/2012, à 15:48

Re : TVDownloader: télécharger les médias du net !

#1461 Le 28/02/2012, à 15:56

Re : TVDownloader: télécharger les médias du net !

#1462 Le 28/02/2012, à 18:51

Re : TVDownloader: télécharger les médias du net !

#1463 Le 28/02/2012, à 19:09

Re : TVDownloader: télécharger les médias du net !

#1464 Le 28/02/2012, à 19:52

Re : TVDownloader: télécharger les médias du net !

#1465 Le 28/02/2012, à 21:56

Re : TVDownloader: télécharger les médias du net !

#1466 Le 28/02/2012, à 21:59

Re : TVDownloader: télécharger les médias du net !

#1467 Le 28/02/2012, à 22:13

Re : TVDownloader: télécharger les médias du net !

#1468 Le 28/02/2012, à 22:21

Re : TVDownloader: télécharger les médias du net !

#1469 Le 28/02/2012, à 22:26

Re : TVDownloader: télécharger les médias du net !

#1470 Le 28/02/2012, à 23:25

Re : TVDownloader: télécharger les médias du net !

#1471 Le 29/02/2012, à 10:34

Re : TVDownloader: télécharger les médias du net !

#1472 Le 29/02/2012, à 10:43

Re : TVDownloader: télécharger les médias du net !

#1473 Le 29/02/2012, à 16:16

Re : TVDownloader: télécharger les médias du net !

#1474 Le 01/03/2012, à 09:29

Re : TVDownloader: télécharger les médias du net !

#1475 Le 01/03/2012, à 10:46

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums