#451 Le 01/08/2013, à 10:26
- 11gjm
Re : TVDownloader: télécharger les médias du net ! [2]
Bonjour à tous ,
@bibichouchou :
> j'ai réussi à faire tourner AdobeHDS pour Fringe
> et il m'a informé de la présence de DRM Akamai
Pourrais-tu nous indiquer :
_ l'adresse de la vidéo
_ l'instruction "php... --delete" utilisée
ÉDIT : le 3 août
Dans le cadre de mes recherches , ci-dessous ce qui fonctionnAIT :
http://videos.tf1.fr/fringe-episode-3-saison-05-l-archiviste-8150814.html
=> captvy , donne 2 liens :
Replay Fringe - Episode 3 Saison 05 - L'archiviste
Replay Fringe - Episode 3 Saison 05 - L'archiviste_hd
Cordialement .
Dernière modification par 11gjm (Le 03/08/2013, à 10:58)
Hors ligne
#452 Le 06/08/2013, à 20:21
- bibichouchou
Re : TVDownloader: télécharger les médias du net ! [2]
salut,
@11gjm
j'avais fait mes tests avec la vidéo que tu mentionnes (qui n'était plus dispo qd j'ai vu ton message d'ailleurs)
et malheureusement je n'ai plus la commande adobehds que j'avais formée. je peux juste dire que j'avais écrit la commande manuellement car je n'ai pas l'extension qui fait tout toute seule dans firefox ;-)
Hors ligne
#453 Le 06/08/2013, à 21:05
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
Salut à tous
Je suis surpris, je lis que TF1 utilise du Protected HDS, et je vois Captvty qui télécharge sur TF1 avec un "bête" rtmpdump ?
Le site de TF1 ayant changé, voici un mini script pour afficher l'identifiant de la vidéo et le Referer (valable uniquement pour TF1, sans doute pas pour TMC, HD1, NT1)
more test_tf1.com
from urllib2 import urlopen
import bs4 as BeautifulSoup
import sys
html = urlopen(sys.argv[1]).read()
soup = BeautifulSoup.BeautifulSoup(html)
print 'referer',soup.head('meta')[10]['value'].replace('embedframe','swfup').replace('https','http')
print 'id',soup.head('meta')[10]['value'][-7:]
et voici un exemple d'utilisation
gg@vientiane:~$ python test_tf1.com http://videos.tf1.fr/les-experts-manhattan/episode-04-saison-08-suspect-messer-les-experts-manhattan-6933962.html
referer http://www.wat.tv/swfup/243990nIc0K118024903
id 8024903
gg@vientiane:~$
Debian 12 sur Thinkpad reconditionné
Hors ligne
#454 Le 06/08/2013, à 21:35
- bibichouchou
Re : TVDownloader: télécharger les médias du net ! [2]
salut k3c,
ben qd j'essaye de regarder fringe depuis firefox, c'est bien le protocole adobe hds qui est utilisé (je « vois » les fragments avec videodownload helper). pas toi ?
de plus quand tu affiches la page qui avant donnait l'adresse rtmp, tu vois aujourd'hui l'adresse du manifest.
sinon, je suis d'accord, capt*ty utilise du rtmp pour rapatrier les vidéos. mon idée est qu'il fabrique l'adresse rtmp ; ça marche aujourd'hui car le flux rtmp est maintenu chez wat pdt la période de transition (rtmp vers hds). mais peut-être que ce ne sera plus le cas demain. je peux me tromper bien-sûr. d'ailleurs, qd on regarde les pages consultées par le logiciel, elles amènent au lien du manifest et non au lien rtmp.
Hors ligne
#455 Le 06/08/2013, à 21:42
- bibichouchou
Re : TVDownloader: télécharger les médias du net ! [2]
voilà ma contribution pour nrj12.
je ne savais plus s'il y avait un script ou pas. et comme y a des episodes de stargate, j'ai écrit un bout de code. c'est du bash. le script prend en argument l'adresse de la vidéo comme d'hab. le voici au cas où il ferait plaisir à certain(e)s d'entre vous ;-)
#!/bin/bash
url="$1"
VideoUrl=$(wget -U 'Mozilla' "${url}" -O - 2>/dev/null | grep "class=\"videoPlayerContainer\" data-url=" | grep -oE "data-url=\"[^\"]*\"" | sed 's/data-url="//g' | sed 's/"//g' | python -c "import base64; str = raw_input(); print base64.decodestring(str)")
VideoId=$(echo ${VideoUrl} | sed 's+http://r.nrj.fr/mogador/web/++g')
wget -U "Mozilla" ${VideoUrl} -O ${VideoId}
Dernière modification par bibichouchou (Le 06/08/2013, à 21:44)
Hors ligne
#456 Le 06/08/2013, à 22:12
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
@ bibichouchou
merci pour ton script, très court, sinon Il y a un script pour chérie25/nrj12
https://github.com/pacomod/replaydl/blo … 5_nrj12.py
Pour TF1 et le Protected HDS, tu as sans doute raison.
Debian 12 sur Thinkpad reconditionné
Hors ligne
#457 Le 06/08/2013, à 23:59
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
salut k3c,
ben qd j'essaye de regarder fringe depuis firefox, c'est bien le protocole adobe hds qui est utilisé (je « vois » les fragments avec videodownload helper). pas toi ?
de plus quand tu affiches la page qui avant donnait l'adresse rtmp, tu vois aujourd'hui l'adresse du manifest.
sinon, je suis d'accord, capt*ty utilise du rtmp pour rapatrier les vidéos. mon idée est qu'il fabrique l'adresse rtmp ; ça marche aujourd'hui car le flux rtmp est maintenu chez wat pdt la période de transition (rtmp vers hds). mais peut-être que ce ne sera plus le cas demain. je peux me tromper bien-sûr. d'ailleurs, qd on regarde les pages consultées par le logiciel, elles amènent au lien du manifest et non au lien rtmp.
Quand je lance la commande
php AdobeHDS.php --manifest "http://tf1vodhdscatchup-vh.akamaihd.net/z/H264-384x288/38/71/10703871.h264/manifest.f4m?hdnea=st=1375829116~exp=1375830916~acl=/*~hmac=bee2d90c0f7b3d7fddfb4b4cb84620f908ad2a0f28f82a7e77d5b8d59ecd80a4&bu=WAT&login=fringe&i=78.193.85.106&u=20874cf5d0761dca7ae3253a1cfa6df6&sum=b0c67d59dfe2d6fa6960871244cb265c&start=0&hdcore=2.11.3&g=HNLNXIEXHEIP" --delete --auth "pvtoken=exp%3D9999999999%7Eacl%3D%252f%252a%7Edata%3DZXhwPTEzNzU5MTU1MTZ+YWNsPSUyZip+ZGF0YT1wdmMsc35obWFjPTA0NmRhMTI5ZDJiNzE0Nzk2NTk5NDIwNzdlZWJlYzJkMDM4ZmQ2N2VhMDliN2EzNGEzYTczMmZkNjYwZmQwNzY%3D%2147DEQpj8HBSa+/TImW+5JCeuQeRkm5NMpJWZG3hSuFU%3D%7Ehmac%3D66AABA729A531AA482FD519A2F31B24D7C00EEAC24A018E95D2866A566E4B21B&hdntl=exp=1375915516~acl=%2f*~data=hdntl~hmac=e870bd066e67c13683e2073888299cf0787f3f0d8e5b47f791159adcf0e0cdd9&bu=WAT&login=fringe&i=78.193.85.106&u=20874cf5d0761dca7ae3253a1cfa6df6&sum=b0c67d59dfe2d6fa6960871244cb265c&start=0&als=0,2,0,0,0,NaN,0,0,0,67,f,0,2472.13,f,s,HNLNXIEXHEIP,2.11.3,67&hdcore=2.11.3" --useragent "Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:22.0) Gecko/20100101 Firefox/22.0"
j'ai
Processing manifest info....
Quality Selection:
Available: 357
Selected : 357
Access Denied! Unable to download fragments.
ce qui correspond dans AdobeHDS.php à
else if ($download['status'] == 403)
LogError("Access Denied! Unable to download fragments.");
Donc je ne sais pas si c'est du Akamai DRM ou du Flash Access DRM ou autre chose, je ne télécharge rien.
Debian 12 sur Thinkpad reconditionné
Hors ligne
#458 Le 07/08/2013, à 00:03
- bibichouchou
Re : TVDownloader: télécharger les médias du net ! [2]
ben chez moi ça a marché. enfin, juste assez pour me dire qu'il y avait un verrou...
comme je l'ai dit j'ai formé la commande à la main. j'ai du avoir du bol.
Hors ligne
#459 Le 07/08/2013, à 12:44
- ynad
Re : TVDownloader: télécharger les médias du net ! [2]
bonjour,
@ bibichouchou,
super ton petit script bash pour nrj12, marche super bien
merci
Hors ligne
#460 Le 07/08/2013, à 22:34
- pacome
Re : TVDownloader: télécharger les médias du net ! [2]
Salut!
…et comme y a des episodes de stargate…
Argh! j'ai encore loupé la redif de la saison 1!
Comme indiqué par k3c j'ai uploadé son script sur github, mais j'apprécie l'efficacité de la chaîne de pipes et la concision du tien: bravo!
En ce qui concerne wat, je ne sais pas comment fait capt*ty, mais en "écoutant" le réseau pendant le visionnage avec chrome je retrouve le manifest f4m et les fragments du HDS.
Par contre, d'après le manifest que j'ai récupéré, il ne semble pas y avoir (actuellement…) de protection par DRM; chaque requête de fragment récupère un cookie avec des clés différentes, mais je ne sais pas encore si elles servent à construire la requête suivante ou à décoder le fragment…
Pour bricoler avec ça je me suis intéressé à la librairie requests qui encapsule urllib3 et qui est vraiment très pratique.
À+
Hors ligne
#461 Le 08/08/2013, à 00:06
- 11gjm
Re : TVDownloader: télécharger les médias du net ! [2]
Bonjour ,
@k3c : Merci pour ton "mini script pour afficher l'identifiant de la vidéo" . A tester .
A+ .
Hors ligne
#462 Le 12/08/2013, à 06:12
- duocore
Re : TVDownloader: télécharger les médias du net ! [2]
Je voulais savoir si pour vous c'etait la meme chose:
impossible de voir le replay de M6 pour tout type d'emissions.
et pour TF1 impossible de voir le replay des series comme les experts, fringe je n'apercois que les pubs, alors que des emissions comme secret story (Beurk toute la telerealite vu le niveau culturel des participants, pour cela il faut voir : http://www.youtube.com/watch?v=EAnkhWUZ_NA) ,on peut le voir avec UBUNTU,
je ne sais pas si cela est pareil pour vous.
Hors ligne
#463 Le 12/08/2013, à 09:12
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
Je voulais savoir si pour vous c'etait la meme chose:
impossible de voir le replay de M6 pour tout type d'emissions.
et pour TF1 impossible de voir le replay des series comme les experts, fringe je n'apercois que les pubs, alors que des emissions comme secret story (Beurk toute la telerealite vu le niveau culturel des participants, pour cela il faut voir : http://www.youtube.com/watch?v=EAnkhWUZ_NA) ,on peut le voir avec UBUNTU,
je ne sais pas si cela est pareil pour vous.
Je peux regarder une vidéo sur M6replay sans problème, par exemple
http://www.m6replay.fr/#/bones/11307594 … -episode-6
par contre, enregistrer une vidéo sur M6replay, vu qu'ils ont mis ds DRM, pas possible.
Sinon, truc amusant, extrait de
http://captvty.fr/
10/08 Vous êtes tous bénéficiaires des exceptions au droit d'auteur et aux droits voisins. Malgré cela, le groupe M6 a mis en place, depuis le 9 avril 2013, des mesures techniques de protection qui vous privent de la possibilité de copier, reproduire ou représenter ses contenus dans le cadre de ces exceptions.
Depuis que TF1 lui a envoyé une mise en demeure, il râle :-)
Dernière modification par k3c (Le 12/08/2013, à 21:25)
Debian 12 sur Thinkpad reconditionné
Hors ligne
#464 Le 12/08/2013, à 16:03
- duocore
Re : TVDownloader: télécharger les médias du net ! [2]
duocore a écrit :Je voulais savoir si pour vous c'etait la meme chose:
impossible de voir le replay de M6 pour tout type d'emissions.
et pour TF1 impossible de voir le replay des series comme les experts, fringe je n'apercois que les pubs, alors que des emissions comme secret story (Beurk toute la telerealite vu le niveau culturel des participants, pour cela il faut voir : http://www.youtube.com/watch?v=EAnkhWUZ_NA) ,on peut le voir avec UBUNTU,
je ne sais pas si cela est pareil pour vous.
Je peux regarder une vidéo sur M6replay sans problème, par exemple
http://www.m6replay.fr/#/bones/11307594 … -episode-6par conter, enregistrer une vidéo sur M6replay, vu qu'ils ont mis ds DRM, pas possible.
Sinon, truc amusant, extrait de
http://captvty.fr/10/08 Vous êtes tous bénéficiaires des exceptions au droit d'auteur et aux droits voisins. Malgré cela, le groupe M6 a mis en place, depuis le 9 avril 2013, des mesures techniques de protection qui vous privent de la possibilité de copier, reproduire ou représenter ses contenus dans le cadre de ces exceptions.
Depuis que TF1 lui a envoyé une mise en demeure, il râle :-)
oui c'est vrai qu'il doit raler. sinon pour M6 ce qui est bizarre c'est que une fois la pub passée dans downloadhelper il y a le fichier de la video de (FBI duo special) en replay qui est reconnu. j'avais lancé php AdobeHDS.php mais a un moment signal qu'il y a des DRM.
qu'est que c'est galere les DRM. si on veut enregistrer les emission il faudra passer par un combi dvd-enregistreur avec disque dur et de rapatrier les videos sur ordi.
je vais essayer de regarder http://www.m6replay.fr/#/bones/11307594 … -episode-6 ce soir je dirais si je peux la visualiser, car en tout cas les videos de fbi duo special impossible de les voir dans firefox
Hors ligne
#465 Le 12/08/2013, à 18:53
- duocore
Re : TVDownloader: télécharger les médias du net ! [2]
Bon je viens de tester le replay de bones, j'ai les pubs puis ensuite j'ai le M6 avec la sorte de rond qui tourne sans cesse. donc impossible de voir l'episode.
Hors ligne
#466 Le 12/08/2013, à 21:31
- pacome
Re : TVDownloader: télécharger les médias du net ! [2]
Salut,
@duocore:
Je ne parviens plus à visionner les replays de tf/nt/hd/tm(c)1 dans firefox, par contre ça marche avec google chrome (c.f. ce post).
Je viens d'essayer le site de M6: chrome semble charger plus de choses, mais ne parvient pas non plus à afficher la vidéo… ceci dit c'est peut-être du à ma config (EeePc 1000, Atom N270, 1Go).
@k3c:
Je présume que la "mise en demeure" à fait long feu (c.f. Aspect juridique), et en fait on devrait tous râler! Au lieu de ça on "s'amuse" à faire des scripts pour voir ces vidéos malgré tout…
En parlant de ça je continue à bien "m'amuser" sur un watHDS.py… en fait je galère tellement que je suis en train de transposer en python le AdobeHDS.php de KSV pour voir comment il décode et utilise les informations du manifest, et surtout pourquoi il ne fonctionne pas pour celui de wat(the f*ck).
À+
Hors ligne
#467 Le 12/08/2013, à 21:43
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
Ave pacome
>>>je ne parviens plus à visionner les replays de tf/nt/hd/tm(c)1 dans firefox, par contre ça marche avec google chrome (c.f. ce post).
Une version de captvty 1.11.3.1 vient de sortir, et par exemple, les experts manhattan ne sont disponibles qu'en basse qualité
Edit :
Ma VM Linux 13.04 montre que Captvty lance
tools\curl http://5med.wat.tv/2/USP-0x0/34/23/8133423/ssm/8133423-1200-64k.mp4 -C - -L -g -A Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0) -o Les experts Manhattan - Les experts Manhattan - Episode 8 Saison 08 - De vieilles connaissances (Les experts Manhattan - Episode 8 Saison 08 - De)_TF1_2013_08_10_21_35.tmp.mp4
tools\curl http://5med.wat.tv/2/USP-0x0/35/65/8133565/ssm/8133565-1200-64k.mp4 -C - -L -g -A Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0) -o Les experts Manhattan - Les experts Manhattan - Episode 9 Saison 08 - ... les grands remèdes (Les experts Manhattan - Episode 9 Saison 08)_TF1_2013_08_10_22_25.tmp.mp4
>>>En parlant de ça je continue à bien "m'amuser" sur un watHDS.py… en fait je galère tellement que je suis en train de transposer en python le AdobeHDS.php de KSV pour voir comment il décode et utilise les informations du manifest, et surtout pourquoi il ne fonctionne pas pour celui de wat(the f*ck).
Tu te souviens que j'avais transposé en Python et adapté pour M6 le script de KSV ? Tu peux peut-être repartir de là ?
Dernière modification par k3c (Le 12/08/2013, à 21:51)
Debian 12 sur Thinkpad reconditionné
Hors ligne
#468 Le 12/08/2013, à 22:38
- pacome
Re : TVDownloader: télécharger les médias du net ! [2]
Bonsoir k3c,
Une version de captvty 1.11.3.1 vient de sortir, et par exemple, les experts manhattan ne sont disponibles qu'en basse qualité
Ah le petit malin! Ça m'a bluffé quand j'ai vu sur sa page qu'il avait résolu l'accès aux vidéos de tf/nt/hd… en fait, comme vous le disiez bibichouchou et toi il y quelques jours, il existe bien encore une url directe, mais en SD, sans doute pour les smartphones et tablettes (notamment les iTrucs qui ne ne font pas tourner flash)…
Tu te souviens que j'avais transposé en Python et adapté pour M6 le script de KSV ? Tu peux peut-être repartir de là ?
Eh pardi! bien sur que je pioche dedans!
Mais je manque encore de recul pour voir ce qui cloche avec le manifest de wat et/ou le token des fragments, donc je continue (tout doucement malheureusement) le transcodage et mes essais.
À+
Hors ligne
#469 Le 12/08/2013, à 22:57
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
@ pacome
Un mediainfo sur la vidéo des Experts Manhattan montre que la résolution est du 640x360
Debian 12 sur Thinkpad reconditionné
Hors ligne
#470 Le 12/08/2013, à 23:09
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
Un peu de doc (du Perl, mais commenté)
Debian 12 sur Thinkpad reconditionné
Hors ligne
#471 Le 12/08/2013, à 23:24
- pacome
Re : TVDownloader: télécharger les médias du net ! [2]
@k3c:
Très intéressant, merci! je regarderai ça plus en détail demain.
À+
Hors ligne
#472 Le 12/08/2013, à 23:34
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
@ pacome
Faudrait nettoyer le code, mais ça marche pour tv5mondeplus.com, si tu veux le mettre sur github.com/pacomod
(pas testé à fond)
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# TV5MondePlus version 0.1 par JUL1EN094 pour mon poto k3c
import urllib, urllib2, sys, re
import xml.etree.ElementTree
import subprocess
class TV5MondePlus(object):
def __init__(self, url):
self.url = url
self.contentID = self.get_contentID()
self.smilUrl = self.get_smilUrl()
self.videoUrl = self.get_videoUrl()
def get_contentID(self):
try :
print 'look for the contentID'
soup = self.getFile(self.url)
html = soup.decode('utf-8')
contentID = re.findall("""contentID:'(.*)'""",html)[0]
print ' ContentID : ' + contentID
return contentID
except Exception, e:
print 'error : not possible to get the contentID'
print e
return False
def get_httpEnd(self,smilFile) :
#get best bitrate
video_src_s = re.findall("""<video src="(.*)" system-bitrate="(.*)"/>""", smilFile)
bestBitrate = 0
httpEnd = False
for video_src in video_src_s :
bitrate = video_src[1]
if bitrate > bestBitrate :
bestBitrate = bitrate
httpEnd = video_src[0]
return httpEnd
def get_smilUrl(self) :
try :
print 'look for the smilUrl'
root = xml.etree.ElementTree.fromstring(self.getFile(self.contentID))
video = root.find('video')
info = video.find('info')
videoUrl = info.find('videoUrl')
smilUrl = videoUrl.text
print ' smilUrl : '+smilUrl
return smilUrl
except Exception, e:
print 'error : not possible to get the smilURL'
print e
return False
def get_videoUrl(self) :
try :
global videoUrl
print 'look for the videoUrl'
smilFile = self.getFile(self.smilUrl)
httpBase = re.findall("""<meta name="httpBase" content="(.*)" />""", smilFile)[0]
httpEnd = self.get_httpEnd(smilFile)
videoUrl = httpBase+httpEnd
print ' videoUrl : '+videoUrl
return videoUrl
except Exception, e:
print 'error : not possible to get the videoUrl'
print e
return False
def getFile(self, url):
request = urllib2.Request(url)
request.add_header('User-Agent', 'Mozilla/5.0 (X11; Ubuntu; Linux i686; rv:17.0) Gecko/20100101 Firefox/17.0')
response = urllib2.urlopen(request,timeout = 10)
return response.read()
def main():
x = TV5MondePlus(sys.argv[1])
if __name__ == "__main__":
main()
tit = sys.argv[1].split('/')[-1]+'.mp4'
print 'titre',tit
args = ["/usr/bin/msdl","-c","--no-proxy", videoUrl , "-o", tit]
print args
app = subprocess.Popen(args=args, stdout=open('somefile', 'w'))
app.wait()
Debian 12 sur Thinkpad reconditionné
Hors ligne
#473 Le 13/08/2013, à 21:23
- pacome
Re : TVDownloader: télécharger les médias du net ! [2]
Salut,
J'ai uploadé tv5MondePlus.py sur replaydl (sans le tester ni le nettoyer).
Je retourne dans les méandres du HDS .
À+
Hors ligne
#474 Le 13/08/2013, à 23:20
- k3c
Re : TVDownloader: télécharger les médias du net ! [2]
@ pacome
Merci pour l'intégration de tv5
Nouvelle version de Captvty,
Version 1.11.3.2 publiée le 13 août 2013.
je cite
Mise à jour de l’accès aux chaînes du groupe TF1.
Je viens de tester un Experts Miami, et c'est le programme Captvty.exe qui récupère la vidéo, donc on ne voit plus la commande :-(
Dommage
La vidéo est en 640x360, donc pas HD
Debian 12 sur Thinkpad reconditionné
Hors ligne
#475 Le 15/08/2013, à 00:19
- 11gjm
Re : TVDownloader: télécharger les médias du net ! [2]
Bonjour ,
Processus pour Windows (XP sp3) + cap*tvty (1.11.3.2) :
---
( Download: http://www.hensence.com/mbox/download/MediaBox.1.2.0.353.zip )
Lancer => Mediabox (MediaBox.1.2.0.353)
---
Lancer => captvty => TF1 => les-experts-miami ( episode-06-saison-09-l...)
(page web correspondante : http://videos.tf1.fr/les-experts-miami/episode-06-saison-09-la-maison-des-secrets-6979102.html)
Clic-droit => Visionner (avec ...) => VLC 2.0.7 => Clic
Démarrage de la vidéo
---
Clic-droit sur l'icône "Mediabox" ,en bas à droite, dans la barre des tâches
Clic sur Ouvrir "Mediabox"
Clic-droit sur "Type 0001" => DIVERS CHOIX POSSIBLES
Clic sur "Copier l'URL" => "http://5med.wat.tv/2/USP-0x0/47/43/8144743/ssm/8144743-1200-64k.mp4"
---
La coller dans VLC , pour la visionner , pour vérifier l'exactitude de l'adresse .
---
Cordialement .
Hors ligne