TVDownloader: télécharger les médias du net !

alex2423 · Le 06/09/2012, à 20:02

chaoswizard a écrit :

Et sinon du nouveau du côté de M6 et W9 ?
Ben en théorie, je crois qu'on a tout ce qu'il faut.
En pratique, je n'ai toujours pas réussi à faire fonctionner correctement (sur 64 bits) la version de rtmpdump qui supporte le handshake 10.
et pourquoi que ça change si vite ?!
pur hasard ou pour obliger les gens à se servir de captv sous Windows dont on ne connait même pas le code source ?
Je ne sais pas trop ; les gens de FT doivent s'ennuyer...
Je pense que ça n'a rien à voir avec le programme Windows (qui par ailleurs passe par le player flash pour récupérer la chaîne HMAC pour la vidéo).
Heureusement, pluzzdl ne dépend pas du flash !

D'un coté,
- heureusement que pluzdl ne passe par flash parce que flash n'est plus mis à jour sous Gnu/Linux
- mais d'un autre coté si cela permet de récupérer plus d'info et de tenir plus longtemps comme captv .....

Rel0ad76 · Le 17/09/2012, à 03:32

Bonsoir,

Je rencontre un problème après l'installation, quand je veut le lancer cela m'affiche:

-@-:~/tvdownloader-0.7.2$ tvdownloader
Traceback (most recent call last):
  File "main.py", line 87, in <module>
    from GUI.MainWindow import MainWindow
  File "/usr/share/tvdownloader/GUI/MainWindow.py", line 26, in <module>
    from API import API
  File "/usr/share/tvdownloader/API.py", line 21, in <module>
    from Navigateur import Navigateur
  File "/usr/share/tvdownloader/Navigateur.py", line 18, in <module>
    import mechanize
ImportError: No module named mechanize

Je n'y comprend pas grand chose, un coup de pouce serais bien sympa !

k3c · Le 17/09/2012, à 06:31

Il te faut installer mechanize, essaie un

sudo apt-get install python-mechanize

Dernière modification par k3c (Le 17/09/2012, à 06:33)

Rel0ad76 · Le 17/09/2012, à 07:54

Ta solution a fonctionner ! Un grand merci

Rel0ad76 · Le 17/09/2012, à 17:21

Nouveau problème

Après quelques instant après l'ouverture de TVDownloader, aucune émissions s'affiche et dans la console, j'ai ceci:

-@-:~/tvdownloader-0.7.2$ tvdownloader

(process:16737): Gtk-WARNING **: Locale not supported by C library.
	Using the fallback 'C' locale.
Traceback (most recent call last):
  File "/usr/lib/python2.6/logging/__init__.py", line 768, in emit
    msg = self.format(record)
  File "/usr/lib/python2.6/logging/__init__.py", line 648, in format
    return fmt.format(record)
  File "/usr/lib/python2.6/logging/__init__.py", line 436, in format
    record.message = record.getMessage()
  File "/usr/lib/python2.6/logging/__init__.py", line 306, in getMessage
    msg = msg % self.args
TypeError: not all arguments converted during string formatting
Traceback (most recent call last):
  File "/usr/share/tvdownloader/APIPrive.py", line 251, in pluginRafraichir
    self.listePluginActif[nomPlugin].rafraichir()
  File "plugins/W9Replay.py", line 51, in rafraichir
    page = urllib.urlopen( self.urlFichierXML )
  File "/usr/lib/python2.6/urllib.py", line 86, in urlopen
    return opener.open(url)
  File "/usr/lib/python2.6/urllib.py", line 205, in open
    return getattr(self, name)(url)
  File "/usr/lib/python2.6/urllib.py", line 344, in open_http
    h.endheaders()
  File "/usr/lib/python2.6/httplib.py", line 904, in endheaders
    self._send_output()
  File "/usr/lib/python2.6/httplib.py", line 776, in _send_output
    self.send(msg)
  File "/usr/lib/python2.6/httplib.py", line 735, in send
    self.connect()
  File "/usr/lib/python2.6/httplib.py", line 716, in connect
    self.timeout)
  File "/usr/lib/python2.6/socket.py", line 500, in create_connection
    for res in getaddrinfo(host, port, 0, SOCK_STREAM):
IOError: [Errno socket error] [Errno -2] Name or service not known

Y-aurai-t-il encore quelque chose à installer pour son fonctionnement ?

mac-gyver31 · Le 25/09/2012, à 19:54

Salut à tous,

Depuis ma dernière venue sur ce topic, je suis passé à précise pangolin, avec une installation "from scratch". Ma série préférée est de retour sur M6, alors j'ai cherché à faire fonctionner TVDownloader.

Echec. Meme comportement qu'avant. J'ai relu les 88 pages du post, pendant plus de deux heures.
Testé la plupart des recettes qu'on y trouve. Généralement, mon système ne se comporte pas comme sur les topics.

Et puis, les échanges volent parfois à un niveau qui est hors de ma modeste portée.

Y-a-t-il un moyen à ce jour pour télécharger les séries de M6Replay ? si oui, une page qui récapitule les softs à installer et les éventuelles commandes manuelles à passer sous terminal ?

Merci d'avance

chaoswizard · Le 25/09/2012, à 20:16

Vers la page 79, on parle d'un version modifiée de rtmpdump pour charger les fichiers sur M6.
Ça marchait, j'imagine que ça marche encore.

Après, ce n'est pas vraiment utile de lire toutes les pages.

k3c · Le 25/09/2012, à 20:52

@ chaoswizard

Je crois que non, les sites M6 et W9 ont été refaits vers le 22 septembre.

Sinon j'ai un script qui télécharge une partie des vidéos de TF1, je peux poster si ça en intéresse.
Oui, je sais ,le problème reste "comment balayer les replays de TF1 en un temps raisonnable ?"

mac-gyver31 · Le 25/09/2012, à 21:04

@chaoswizard : tu veux parler du post #2017 de bibichouchou à la page 81 ?

mac-gyver31 · Le 25/09/2012, à 21:09

Sinon, y'a-t-il une "règle" qui permet, à partir de la syntaxe des url qu'on peut intercepter par la fonction developpeur de chrome, ou par wireshark, de composer l'adresse à donner en paramètre à la commande rtmpdump ?

Celà permettrait de s'en sortir en mode commande quels que soient les changements opérés par M6Replay qui a l'air de s'adonner régulièrement à la pratique.

k3c · Le 25/09/2012, à 21:58

@ mac gyver

rtmpsrv fait tout ça

mac-gyver31 · Le 26/09/2012, à 14:15

k3c a écrit :

rtmpsrv fait tout ça

T'as une url d'un tuto ?

Je suis plutôt novice dans ce domaine.

k3c · Le 26/09/2012, à 19:56

@ mac gyver

voici un tuto

http://constcuriosity.blogspot.fr/2010/ … pdump.html

Regenesis · Le 27/09/2012, à 09:17

Salut,

J'ai testé le tuto, chez moi ça ne fonctionne pas pour W9/M6/TF1/pluzz (rtmpsrv ne détecte rien).

mac-gyver31 · Le 27/09/2012, à 16:44

Pareil pour moi. rtmpsrv reste muet. On reste sur :

Streaming on rtmp://0.0.0.0:1935

la commande iptables censé rerouter le flux rtmp est probablement en cause.
Y'a-t-il un moyen de voir ce que cette commande produit ? Met-elle à jour un fichier dans /etc par exemple ? On obtient aucun message en retour quand on la lance.

Regenesis · Le 27/09/2012, à 17:50

mac-gyver31 a écrit :

la commande iptables censé rerouter le flux rtmp est probablement en cause.

Non je pense pas. Je suis ensuite allé sur le site de SouthPark mentionné dans le tuto et j'ai bien eu un message dans la console au lancement d'une vidéo.

mac-gyver31 · Le 28/09/2012, à 06:14

Regenesis a écrit :

Non je pense pas. Je suis ensuite allé sur le site de SouthPark mentionné dans le tuto et j'ai bien eu un message dans la console au lancement d'une vidéo.

Exact. Mais la commande rtmpdump générée ne fonctionne pas.

Et puis, sur ce genre de site, le plugin downloadhelper de firefox trouve le lien et le propose au téléchargement.
Sur les deux autres sites du tuto (daily show et colbert report), même problème que TF1, M6 et consort.
Probablement que les sites de replay ont mis en oeuvre une nouvelle techno non supportée par rtmpdump.

Draky · Le 29/09/2012, à 06:50

Petit souci technique : quand je lance tvdownloader, j'ai "Patientez pendant l'actualisation..." puis ça reste comme ça sans aller plus loin.

Une idée du souci ?

Merci

Xubuntu 12 precise.

mac-gyver31 · Le 30/09/2012, à 09:19

Intéressant....

Sur les replays de M6, le plugin downloadhelper de firefox affiche en disponibilité téléchargement tous les fragments de la vidéo, tous avec le même nom, et sans extension. Il s'en affiche rapidement plus de 100. Trés difficile donc de les récupérer tous sans doublonner.
Ca prouve quand même qu'on est surement sur le protocole rtmp, sans doute d'une manière que rtmpdump ne sait pas détecter. Ou sur un autre port.... Je pense qu'un pro du réseau avec wireshark saurait le dire.
Je vais tenter d'en récupérer une dizaine avec downloadhelper, et les assembler avec PITIVI pour voir. Un par un, vlc ne sait pas les jouer.
N'hésitez pas à réagir si vous penser devoir corriger ou pouvoir préciser mes propos.

chaoswizard · Le 30/09/2012, à 10:01

Euh, si downloadhelper voit les fragments de vidéo, ça ne serait pas plutôt du f4m ?

k3c · Le 30/09/2012, à 14:19

Une petite correction de bug pour le script toutv.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# TOU.TV version 0.5 par k3c
import subprocess, optparse, re, sys, os, shlex
import socket, random
from urllib2 import ProxyHandler, Request, urlopen, URLError, HTTPError
import bs4 as BeautifulSoup
from lxml import objectify
from lxml import etree
import urllib2
timeout = 900
listeUserAgents = [ 'Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_5_5; fr-fr) AppleWebKit/525.18 (KHTML, like Gecko) Version/3.1.2 Safari/525.20.1',
                                                'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.186 Safari/535.1',
                                                'Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13',
                                                'Mozilla/5.0 (X11; U; Linux x86_64; en-us) AppleWebKit/528.5+ (KHTML, like Gecko, Safari/528.5+) midori',
                                                'Mozilla/5.0 (Windows NT 6.0) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.107 Safari/535.1',
                                                'Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-us) AppleWebKit/312.1 (KHTML, like Gecko) Safari/312',
                                                'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.12 Safari/535.11',
                                                'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.8 (KHTML, like Gecko) Chrome/17.0.940.0 Safari/535.8' ]
def get_proxy():
    opener = urllib2.build_opener()
    opener.addheaders = [('User-agent', random.choice(listeUserAgents))]
    data = opener.open('http://www.xroxy.com/proxy-country-CA.htm').read()
    opener.close()
    s = BeautifulSoup.BeautifulSoup(data)
    hrefs = s.find_all(attrs={'href' : re.compile("host=\d")})
    href = random.choice(hrefs)
    mastr =  href.attrs['href']
    m = re.search('host=(([0-9\.])+)?.*port=(([0-9\.])+)?',str(mastr))
    port = m.group(3)
    host = m.group(1)
    return host, port

def main():
    # timeout en secondes
    socket.setdefaulttimeout(timeout)
    usage   = "usage: python toutv   [options] <url de l'emission>"
    parser  = optparse.OptionParser( usage = usage )
    parser.add_option( "--nocolor",         action = 'store_true', default = False, help = 'desactive la couleur dans le terminal' )
    parser.add_option( "-v", "--verbose",   action = "store_true", default = False, help = 'affiche les informations de debugage' )
    ( options, args ) = parser.parse_args()
    if( len( args ) != 1 or args[ 0 ] == "" ):
        parser.print_help()
        parser.exit( 1 )
    the_url = sys.argv[1] 
    html = urlopen(sys.argv[1]).read()
    nom = sys.argv[1][18:].replace('/', '_')
    soup = BeautifulSoup.BeautifulSoup(html)
    elems = [elem for elem in soup.find('div',{'class':'emissionEpisode_containerPlayer'})]
    mastr = elems[1].attrs['src']
    m = re.search('"idMedia":"([A-Za-z0-9_]*)',mastr)
    if m:
       id = m.group(1)
    head = random.choice( listeUserAgents )
    platform = 'http://release.theplatform.com/content.select?pid='
    response = urllib2.urlopen(urllib2.Request(platform+id))
    newfile = response.read()
#    host, port = "209.172.34.132", "3128"
#    host, port = "209.172.34.132", "3128"
    host, port = "69.46.99.186", "80"
    if "You are not in a geographic region that has access to this content." in newfile:
        while (True):
            try:
                print 'proxy utilisé %s:%s' % (host, port)
                proxy_support = urllib2.ProxyHandler({'http': 'http://%s:%s/' % (host, port)})
                opener = urllib2.build_opener(proxy_support)
                urllib2.install_opener(opener)
                response = urllib2.urlopen(urllib2.Request(platform+id))
                newfile = response.read()
                response.close()
                break
            except KeyboardInterrupt:
                sys.exit()
            except:
                host, port = get_proxy()
    root = objectify.fromstring(newfile)
    rtmp = None
    for x in root.findall('choice'):
        if x.url.text.startswith('rtmp'):
            rtmp = x.url.text
            break
    if rtmp is None:
        print "aucun proxy valide"
        sys.exit(1)
    info_video = rtmp
    host = info_video.split('rtmp://')[1].split('/')[0]
    start = rtmp.index('ondemand')
    end = rtmp.index('<break>')
    app = rtmp[start:end]
    st = rtmp.index('<break>')+len('<break>')
    en = len(rtmp)
    playpath = rtmp[st:en]
    cmds = "rtmpdump"+" --host "+host+" --app \""+app+"\" --playpath \""+playpath+"\" -e -k 1 --flv "+str(nom)+".mp4"
    arguments = shlex.split( cmds )
    process = subprocess.Popen( arguments, stdout = subprocess.PIPE).communicate()[0]
if __name__ == "__main__":
    main()

bishop · Le 30/09/2012, à 16:02

Salut k3c !
J'essaie ton script et j'ai cette erreur :

bishop1104@Bishop1104:~/TV_ScriptDownload$ python tmc.py http://videos.tmc.tv/suspect-numero-1/suspect-n-1-la-cougar-et-le-legionnaire-on-a-tue-mon-enfant-7558353-848.html
Traceback (most recent call last):
  File "tmc.py", line 7, in <module>
    import bs4 as BeautifulSoup
ImportError: No module named bs4

Natty 64 bits.
python-beautifulsoup installé en version 3.2.0-1.

k3c · Le 30/09/2012, à 16:15

@bishop

Il te faut Beautifulsoup 4, pas le 3
http://www.crummy.com/software/Beautifu … /download/

bishop · Le 30/09/2012, à 16:40

k3c !
Après l'install de BeautifulSoup4 j'ai cette erreur :

bishop1104@Bishop1104:~/TV_ScriptDownload$ python tmc.py http://videos.tmc.tv/suspect-numero-1/suspect-n-1-la-cougar-et-le-legionnaire-on-a-tue-mon-enfant-7558353-848.html
Traceback (most recent call last):
  File "tmc.py", line 97, in <module>
    main()
  File "tmc.py", line 49, in main
    elems = [elem for elem in soup.find('div',{'class':'emissionEpisode_containerPlayer'})]
TypeError: 'NoneType' object is not iterable

Dernière modification par bishop (Le 30/09/2012, à 17:42)

k3c · Le 30/09/2012, à 18:28

J'ai un message d'erreur différent

gg@gg-SATELLITE-L755:~$ python tmc.py http://videos.tmc.tv/suspect-numero-1/suspect-n-1-la-cougar-et-le-legionnaire-on-a-tue-mon-enfant-7558353-848.html
RTMPDump v2.4
(c) 2010 Andrej Stepanchuk, Howard Chu, The Flvstreamer Team; license: GPL
Connecting ...
INFO: Connected...
Caught signal: 13, cleaning up, just a second...
ERROR: WriteN, RTMP send error 32 (42 bytes)
ERROR: RTMP_ReadPacket, failed to read RTMP packet header
gg@gg-SATELLITE-L755:~$

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#2176 Le 06/09/2012, à 20:02

Re : TVDownloader: télécharger les médias du net !

#2177 Le 17/09/2012, à 03:32

Re : TVDownloader: télécharger les médias du net !

#2178 Le 17/09/2012, à 06:31

Re : TVDownloader: télécharger les médias du net !

#2179 Le 17/09/2012, à 07:54

Re : TVDownloader: télécharger les médias du net !

#2180 Le 17/09/2012, à 17:21

Re : TVDownloader: télécharger les médias du net !

#2181 Le 25/09/2012, à 19:54

Re : TVDownloader: télécharger les médias du net !

#2182 Le 25/09/2012, à 20:16

Re : TVDownloader: télécharger les médias du net !

#2183 Le 25/09/2012, à 20:52

Re : TVDownloader: télécharger les médias du net !

#2184 Le 25/09/2012, à 21:04

Re : TVDownloader: télécharger les médias du net !

#2185 Le 25/09/2012, à 21:09

Re : TVDownloader: télécharger les médias du net !

#2186 Le 25/09/2012, à 21:58

Re : TVDownloader: télécharger les médias du net !

#2187 Le 26/09/2012, à 14:15

Re : TVDownloader: télécharger les médias du net !

#2188 Le 26/09/2012, à 19:56

Re : TVDownloader: télécharger les médias du net !

#2189 Le 27/09/2012, à 09:17

Re : TVDownloader: télécharger les médias du net !

#2190 Le 27/09/2012, à 16:44

Re : TVDownloader: télécharger les médias du net !

#2191 Le 27/09/2012, à 17:50

Re : TVDownloader: télécharger les médias du net !

#2192 Le 28/09/2012, à 06:14

Re : TVDownloader: télécharger les médias du net !

#2193 Le 29/09/2012, à 06:50

Re : TVDownloader: télécharger les médias du net !

#2194 Le 30/09/2012, à 09:19

Re : TVDownloader: télécharger les médias du net !

#2195 Le 30/09/2012, à 10:01

Re : TVDownloader: télécharger les médias du net !

#2196 Le 30/09/2012, à 14:19

Re : TVDownloader: télécharger les médias du net !

#2197 Le 30/09/2012, à 16:02

Re : TVDownloader: télécharger les médias du net !

#2198 Le 30/09/2012, à 16:15

Re : TVDownloader: télécharger les médias du net !

#2199 Le 30/09/2012, à 16:40

Re : TVDownloader: télécharger les médias du net !

#2200 Le 30/09/2012, à 18:28

Re : TVDownloader: télécharger les médias du net !

Pied de page des forums