[script] Télécharger de nombreuses quotidiennes de canal+ (suite)

S00000 · Le 05/10/2010, à 14:35

Si ça peut dépanner quelqu'un.
Script qui télécharge le grand journal tout les jours.
Modifiez le chemin de téléchargement: doss= ...
Le crontab: */15 19-21 * * 1-5 DISPLAY=:0 /chemin/vers/canaldl.sh
Pouvez supprimer tous les osd_cat et notify-send aussi ...
!ATTENTION!
⚡ écrit avec les pieds, modifications/adaptations largement recommandées ⚡

script: http://sprunge.us/KNUE

Il utilise rtmpdump et curl

Dernière modification par S00000 (Le 05/10/2010, à 14:41)

ben210 · Le 10/10/2010, à 18:44

bonjour,

j'ai bien peur que canal soit en train de changer le system d'url pour leur flash player.

je voulais regarder l'emission SALUT LES TERRIENS, ais cette url :
http://www.canalplus.fr/rest/bootstrap. … h/terriens ne donne aucun resultat concernant l'emission de ardisson.

quelqu'un a t il une suggestion ? canal serait il en train de faire un refactoring global ?

angeline · Le 10/10/2010, à 18:46

Effectivement, plus de Groland ni de guignols non plus

CasseTaTele · Le 10/10/2010, à 19:10

mon script ne marche plus depuis vendredi non plus

razer · Le 11/10/2010, à 15:05

Le problème provient du fait que http://www.canalplus.fr/rest/bootstrap. … er/search/ ne renvoie plus de réponses pertinentes.
Il permettait au script de connaître le lien vers les .flv afin de les télécharger avec flvstreamer

Je pense que c'est une volonté délibérée de la part de canal plus, car l'astuce commençait à se répandre :
http://www.franc83.fr/categories/logici … -en-9.html

De plus, je ne sais pas si c'est nouveau, mais sur leur site les émissions commencent par une pub de 10 sec.
Probablement qu'ils souhaitent éviter que des petits malins dans notre genre aient la parade pour les éviter

Je lance maintenant un concours : au premier qui trouvera une petite faille pour refaire fonctionner nos scripts.
Par contre, désolé mais je n'aurais que ma reconnaissance à offrir

CasseTaTele · Le 11/10/2010, à 16:46

um pas évident, je sais pas si ça aide mais lorsque l'on regarde le zapping par exemple et que l'on utilise le bouton "partager sur facebook" il y a une url de ce type qui apparait (en remplaçant les %20, etc...) :

http://www.canalplus.fr/c-infos-documentaires/pid1830-zapping.html?vid=384316&sc_cmpid=FBSharePlayer&t=Zapping - 11/10/10

A priori il n'y a que le numéro derrière 'vid=' qui est difficile à trouver, le reste c'est la date qui change...

edit: En + il est inutilisable leur site, chez moi la vidéo commence 2s puis ça se bloque 10s, puis 2s de lecture, etc... et j'ai pas l'impression qu'il mette en cache si on reste sur pause ça change rien...

Dernière modification par CasseTaTele (Le 11/10/2010, à 20:03)

S00000 · Le 13/10/2010, à 21:38

D'après chaoswizard,

Pour le grand journal :

--> Liste des fichiers :
http://www.canalplus.fr/rest/bootstrap. … etMEAs/104
On récupère l'ID de la vidéo qui nous intéresse.

--> URL vidéos :
http://www.canalplus.fr/rest/bootstrap. … s/ID_VIDEO

Pour la liste des autres emissions, voir :
http://www.canalplus.fr/rest/bootstrap. … initPlayer

SOURCE: chaoswizard -> http://forum.ubuntu-fr.org/viewtopic.php?id=409313&p=21

vincentp010 · Le 14/10/2010, à 06:31

Chez moi ça remarche, la page http://www.canalplus.fr/rest/bootstrap. … er/search/ renvoi bien les adresses des vidéos.
Peut être un problème passager chez canal !?

CasseTaTele · Le 14/10/2010, à 08:43

ouai ça remarche chez moi aussi, c'était passager...

Pepou06 · Le 27/11/2010, à 00:47

Je viens de découvrir ce programme.. C'est juste FANTASTIQUE !!
Merci au créateur !

idtuyoid · Le 14/12/2010, à 21:21

c'est une liste exaustive de petit script?
quelqu'un peut r'ajouter mon script pour kiosque de tv5 ?
http://forum.ubuntu-fr.org/viewtopic.ph … 2#p3898922

CasseTaTele · Le 15/12/2010, à 21:40

En ce moment il y a un petit soucis (quelque soit le script utilisé)
Aujourd'hui (mercredi) les émissions (grand journal, guignols, ...) de lundi et mardi ne se téléchargent pas avec les scripts alors qu'elles sont bien sur le site...
Ça fait quelques jours qu'il y a un décalage, ça marche plusieurs jours après généralement...
Ça fait pareil chez vous? Quelqu'un sait pourquoi?

Erlen · Le 15/12/2010, à 22:10

Salut,
Moi j'ai un autre problème. Qui concerne l'édition spéciale et plus particulièrement l'édition du vendredi.
Excepté les mêmes problèmes rencontrés que tout le monde tant à autre, en ce qui concerne le vendredi pour l'édition spéciale on ne peut avoir que la première partie et le début de la deuxième.
cayetanensis m'avait fourni un script pour pouvoir télécharger manuellement les vidéos de l'édition spéciale, mais depuis quelque temps il ne marche plus !

Script que voici :

#!/bin/sh

# lignes à modifier en fonction de l'émission qui vous intéresse
CODE="edition"
EMISSION="L_EDITION_SPECIALE_EMISSION"
QUALITE="mp4"

# s'il n'y a pas d'argument dans la commande...
if [ -z $1 ]
then
    # ... le script utilise la technique du bootstrap
    XML="http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/search/$CODE"
else
    # ... sinon le script utilise la technique du player avec ID
  XML="http://service.canal-plus.com/video/rest/getvideosliees/cplus/$1"

fi

# le script récupère le fichier XML choisi et isole les adresses des vidéos
LISTE=`wget -O - $XML | sed 's/>/\n/g; s/</\n/g' | grep $EMISSION | grep $QUALITE`

# puis les télécharge une par une
for URL in $LISTE
do
    TITRE=`echo $URL | sed 's#/#\n#g'| grep "$EMISSION"`
    if [ ! -f `echo $TITRE` ]; then
        flvstreamer -r $URL > $TITRE
    fi
done

Quand je l'utilise la réponse est flvstreamer not found
Si quelqu'un peut m'aider je lui en serais reconnaissant.

jajaX · Le 16/12/2010, à 00:23

salut

j'ai eu droit à une liste vide pour canal+ en début de soirée. relancer il y a une 1/2 heure et tout est là

CasseTaTele · Le 16/12/2010, à 13:02

jajaX a écrit :

j'ai eu droit à une liste vide pour canal+ en début de soirée. relancer il y a une 1/2 heure et tout est là

Avec quel script et pour quelles émissions?
Je viens de relancer mon script et je n'ai toujours pas les émissions de cette semaine...
tu peux filer ton script que j'essaie?

jajaX · Le 16/12/2010, à 14:08

avec TVDownloader mais j'avais le même soucis avec urecorder...

Simvetanylen · Le 18/12/2010, à 12:15

Bonjour à tous,

J'ai également des problèmes pour télécharger les vidéos sur canal+ (guignols et compagnie), et ce depuis le début de la semaine uniquement.
Habituellement j'utilisais un script complètement différent (trouvé en allant au hasard sur le web). Celui ci n'allait pas télécharger directement les vidéos sur la page de visionnage mais se servait de la fonction de recherche du site de canal+ (http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/search/guignols par exemple). Hors, si vous faites une recherche sur le site, vous vous apercevrez que vous ne trouverez aucune des vidéos de cette semaine (mais les anciennes oui).
Par conséquent, si ce script fonctionne comme celui que j'utilise, le problème vient du fait que les nouvelles vidéos ne sont pas accessible depuis la fonction de recherche.

Dernière modification par Simvetanylen (Le 18/12/2010, à 12:16)

BmD_Online · Le 20/12/2010, à 20:35

+1, plus aucune émission depuis le week-end du 11-12 déc.

jajaX · Le 21/12/2010, à 00:07

hello

je télécharge le zapping, groland et les 2 derniers SAV là. c'est très lent mais ça avance.

Simvetanylen · Le 21/12/2010, à 01:44

Toujours impossible de télécharger de mon coté

BmD_Online · Le 21/12/2010, à 07:01

Les derniers Zapping, SAV et Petit Journal datent d'il y a 10 jours. Rien de plus récent.
J'utilise "Canal Daily Downloader", version d'obiwankennedy, mais tous les scripts utilisent (a priori) la même méthode et ne marchent plus.

jajaX · Le 21/12/2010, à 12:14

salut

houla excusez moi, je me mélange entre urecorder et tvdownloader !! donc effectivement urecorder ne trouve que du vieux.

pas de soucis, hormis les lenteurs, avec tvdownloader.

vincentp010 · Le 21/12/2010, à 23:27

Je viens de me refaire un script en python avec les liens donné plus haut:

#!/usr/bin/env python
# -*- coding:Utf-8 -*-

###########################################################################
# Copyright (C) 2010  La_Poigne                                           #
# This program is free software: you can redistribute it and/or modify    #
#  it under the terms of the GNU General Public License as published by   #
#  the Free Software Foundation, either version 2 of the License, or      #
#  any later version.                                                     #
# This program is distributed in the hope that it will be useful,         #
#  but WITHOUT ANY WARRANTY without even the implied warranty of          #
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the          #
#  GNU General Public License for more details.                           #
# You should have received a copy of the GNU General Public License       #
#  along with this program.  If not, see <http://www.gnu.org/licenses/>.  #
###########################################################################
#
#Script pour telecharger les emission du site canalplus.fr
#Fonctionne en theorie sur tous les OS
#
#Changelog:
#V 0.1
#21-12-2010 : Creation
#V 0.2
#22-12-2010 : Reglage probleme encodage dans fichier log
#V 0.3
#23-12-2010 : Ajout d'une option "--log" et prise en compte de l'absence du tag sous-titre



import os, urllib, subprocess, time, sys
from xml.dom import minidom


# Numeros des emissions a telecharger, commentez celles que vous ne voulez pas
emissions=[
48,    # GUIGNOLS
252,   # SAV
254,   # GROLAND
201,   # ZAPPING
#104,  # GRAND JOURNAL
#249,  # PETIT JOURNAL
#37,   # ACTION DISCRETE
#39,   # LA MATINALE
#47,   # PEPITES DU NET
#62,   # LE BOUCAN DU JOUR
#215,  # LE MEILLEUR DU HIER
]

# Qualite de la video
#qualite = "BAS_DEBIT"
qualite = "HAUT_DEBIT"
#qualite = "HD"

# Repertoires (pensez a les creer avant)
homedir = os.path.expanduser('~')
HISTORIQUE = homedir + "/.cplus_hist"
output_dir = homedir + "/scripts/canal"



# Ne rien modifier sous cette ligne
# Sauf pour ameliorer le fonctionnement ;)

logfile = os.path.join(output_dir , "canal.log")
urlXMLEmissions = "http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/getMEAs/"
urlXMLVid = "http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/getVideos/"

# Parse Mea file to get videos id
def ParseMeas(xmldoc):
   ids = []
   meas = xmldoc.getElementsByTagName('MEA')
   for i in meas:
      if i.getElementsByTagName('ID')[0].childNodes != []:
         id = i.getElementsByTagName('ID')[0].childNodes[0].nodeValue
         ids.append(id)
   return ids

# Parse video file to get name and url
def ParseVid(xmldoc):
   names = []
   urlVids = []
   videos = xmldoc.getElementsByTagName('VIDEO')
   for i in videos:
      titrage = i.getElementsByTagName('INFOS')[0].getElementsByTagName('TITRAGE')[0]
      if titrage.getElementsByTagName('TITRE')[0].childNodes != []:
         titre = titrage.getElementsByTagName('TITRE')[0].childNodes[0].nodeValue
         if titrage.getElementsByTagName('SOUS_TITRE')[0].childNodes != []:
            stitre = titrage.getElementsByTagName('SOUS_TITRE')[0].childNodes[0].nodeValue
            date = "_" + stitre
         else:
            date = ""
         name = titre + date
         name = name.replace(' ', '.').replace('/', '-')
         videos = i.getElementsByTagName('MEDIA')[0].getElementsByTagName('VIDEOS')[0]
         rtmp= videos.getElementsByTagName(qualite)[0].childNodes[0].nodeValue
         names.append(name)
         urlVids.append(rtmp)
   return names, urlVids

# Execute command and write stdout in file var
def execute(params, file):
   p = subprocess.Popen(params,stdout=file)
   p.wait()
   return p.returncode

def addHistory(name):
   file = open(HISTORIQUE, 'a')
   file.write(name.encode('utf-8') + '\n')
   file.close()

def checkHistory(name):
   findvalue = 0
   file = open(HISTORIQUE, 'r')
   for line in file:
      if line.decode('utf-8') == name + '\n':
         findvalue = 1
   file.close()
   return findvalue

def downXml(url):
   try:
      xmlFile = urllib.urlopen(url).read()
   except Exception, e:
      return 1
   try:
      xmldoc = minidom.parseString(xmlFile)
   except Exception, e:
      xmldoc = 1
   return xmldoc


if __name__ == "__main__":
   
   debug = False
   if len(sys.argv) == 2:     
     if sys.argv[1] == "--log":
        debug = True
        print "Debug ON"
        logf = open(logfile, "w")
   
   if os.path.exists(HISTORIQUE) == False:
     file = open(HISTORIQUE, 'w')
     file.close()
   
   for num in emissions:
      url = urlXMLEmissions + str(num)
      if debug:
         logf.write(time.strftime("%Y-%m-%d %H:%M:%S") + '\n')
         logf.write("Downloading " + url + '\n')
      xmldoc = downXml(url)
      if xmldoc == 1:
         print "Erreur durant la recuperation de la liste " + str(num)
         if debug:
            logf.write(url + " download error" + '\n')
      else:
         id = ParseMeas(xmldoc)
         if debug:
            logf.write("-> Ids " + str(id) + '\n')
         
         for vid in id:
            url2 = urlXMLVid + vid
            xmldoc2 = downXml(url2)
            if xmldoc2 == 1:
               if debug:
                  logf.write(url2 + " download error" + '\n')
            else:
               names, urlVids = ParseVid(xmldoc2)
               if debug:
                  logf.write("--> names " + str(names) + '\n')
                  logf.write("---> urlvid " + str(urlVids) + '\n')
               
               i = 0
               loop = 0
               while i < len(names):
                  print "Download " + names[i]
                  check = checkHistory(names[i])
                  if check == 0:
                     basename, extension = os.path.splitext(urlVids[i])
                     flvFile = os.path.join(output_dir , names[i] + extension)
                     params=['flvstreamer', '-r', urlVids[i]]
                     file = open(flvFile, 'w')
                     r = execute(params, file)
                     file.close()
                     # If returncode OK, next file
                     if r == 0:
                        addHistory(names[i])
                        loop = 0
                        i += 1
                     else:
                        if os.path.exists(flvFile):
                           os.remove(flvFile)
                        loop += 1
                        # After 5 retry abord file
                        if loop == 5:
                           if debug:
                              logf.write("Download aborded" + '\n')
                           i += 1
                           loop = 0
                        else:
                           if debug:
                              logf.write("Download error" + '\n')
                           print "Download error, retry in 30 seconds"
                           time.sleep(30)
                  else:
                     print "File already downloaded"
                     i += 1
               
   if debug:
      logf.close()

Pour les noms des émissions, je ne les connais pas toutes, donc si vous avez des nom à proposer je pourrais essayer de trouver le numéro correspondant.

Dernière modification par vincentp010 (Le 24/12/2010, à 10:52)

BmD_Online · Le 21/12/2010, à 23:47

Merci pour le script.

Tu récupères ces numéros où ?
Il manque le petit journal.

BmD_Online · Le 22/12/2010, à 00:36

vincentp010 a écrit :

Je viens de me refaire un script en python avec les liens donné plus haut:

Je viens de tester, en conservant uniquement SAV et ZAPPING.
A la fin des SAV, ça plante avec un "index out of range".

J'ai relancé avec uniquement le ZAPPING, il a marché.

L'erreur semble se produire au changement d'émission.

En tout cas, merci pour ton script.

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#376 Le 05/10/2010, à 14:35

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#377 Le 10/10/2010, à 18:44

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#378 Le 10/10/2010, à 18:46

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#379 Le 10/10/2010, à 19:10

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#380 Le 11/10/2010, à 15:05

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#381 Le 11/10/2010, à 16:46

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#382 Le 13/10/2010, à 21:38

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#383 Le 14/10/2010, à 06:31

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#384 Le 14/10/2010, à 08:43

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#385 Le 27/11/2010, à 00:47

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#386 Le 14/12/2010, à 21:21

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#387 Le 15/12/2010, à 21:40

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#388 Le 15/12/2010, à 22:10

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#389 Le 16/12/2010, à 00:23

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#390 Le 16/12/2010, à 13:02

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#391 Le 16/12/2010, à 14:08

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#392 Le 18/12/2010, à 12:15

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#393 Le 20/12/2010, à 20:35

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#394 Le 21/12/2010, à 00:07

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#395 Le 21/12/2010, à 01:44

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#396 Le 21/12/2010, à 07:01

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#397 Le 21/12/2010, à 12:14

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#398 Le 21/12/2010, à 23:27

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#399 Le 21/12/2010, à 23:47

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#400 Le 22/12/2010, à 00:36

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Pied de page des forums