Ubuntu-fr

outcast

[python] Téléchargement automatique des quotidiennes de Canal+

Bonjour à tous,

Voici un nième script python pour télécharger automatiquement les quotidiennes de Canal+
https://github.com/WassimAttar/canal-qu … idienne.py
Pour le télécharger

wget https://raw.github.com/WassimAttar/canal-quotidienne/master/canal-quotidienne.py

Le repository se trouve ici
https://github.com/WassimAttar/canal-quotidienne

Qu'est ce qui le différencie des autres scripts ?
Il fait appel à youtube-dl qui gère toute la partie téléchargement et qui est très souvent mis à jour, il est très robuste.
L'historique des émissions déjà téléchargées est bien géré, il n'y a pas de doublons dans les téléchargements.
Il fonctionne avec python 2 et 3.

Vos remarques ici ou sur github.

++

Dernière modification par outcast (Le 23/05/2015, à 09:50)

outcast

Re : [python] Téléchargement automatique des quotidiennes de Canal+

Le problème de téléchargement des émissions de canal+ a été résolu par youtube-dl projet open source qui a 293 contributeurs et qui permet de télécharger des vidéos depuis 645 sites à travers le monde, dont canal+, pluzz, arte, ina, etc... :
https://github.com/rg3/youtube-dl

En revanche, le problème soulevé par de nombreux membres est comment trouver les IDs des émissions pour les télécharger automatiquement.
Pour y répondre, quelques explications :
canal+ crée des playlists en format XML et dedans il y a les émissions.
Les playlists sont accessibles via cette url
http://service.canal-plus.com/video/res … cplus/{id}
avec id un entier qui va de 0 à 3600
En faisant quelques tests à la main, par exemple avec la playlist de l'id 2 il y a plusieurs émissions :
FOOTBALL, RUGBY, TENNIS, etc...
http://service.canal-plus.com/video/res … As/cplus/2
En revanche, dans certaines playlists, il y a qu'un seul type d'émissions, par exemple id 6 il y a que du RUGBY
http://service.canal-plus.com/video/res … As/cplus/6

Donc pour connaître la playlist d'une émission en particulier, suffit de parcourir toutes les playlists et repérer celles qui ont qu'une seule émission.
Problème, pour une même émission, par exemple RUGBY, elle revient dans plusieurs playlists :
6, 154, 189, 197, 268, 333, etc...
Laquelle est la bonne ?
Je n'ai pas la réponse pour l'instant.

Pour la trouver, je vais réaliser un scan quotidien des 3600 playslits et voir les différences par rapport à la veille pour repérer les playlists vivantes des mortes. Ce travail est facilité grâce à git.
Je pense qu'après quelques scans, les playlists vivantes émergeront et je proposerai une liste fiable de ids pour chaque émission.

ps : pour comprendre le contenu d'une playlist, je prends la 2
http://service.canal-plus.com/video/res … As/cplus/2
[('FOOTBALL', 10), ('RUGBY', 5), ('X_GAMES', 2), ('TENNIS', 2), ('INTERIEUR_SPORT', 2), ('AUTRES_SPORTS', 2), ('BASKET', 2), ('GOLF', 1), ('ZAPSPORT', 1)]
ça veut dire que l’émission FOOTBALL figure 10 fois dans la playlist, RUGBY 5 fois, X_GAMES 2 fois, etc...
L'indication du nombre permet de savoir si la playlist est fournie ou pas.
Par exemple avec la playlist 213, l’émission LE_MEILLEUR_DU_HIER y figure 500 fois.
En revanche pour la playlist 214, l’émission LE_MEILLEUR_DU_HIER n'y figure que 57 fois.
A priori la playlist à retenir pour l’émission LE_MEILLEUR_DU_HIER est la 213.

Dernière modification par outcast (Le 07/06/2015, à 13:39)

outcast

Re : [python] Téléchargement automatique des quotidiennes de Canal+

J'ai sauvegardé l'ensemble des playlists à la date du 2015-05-24.
Il y en a 1405 en tout.
https://github.com/WassimAttar/canal-qu … /playlists
ça sera plus simple de faire des calculs en local et voir les différences à chaque mise à jour quotidienne.

outcast

Re : [python] Téléchargement automatique des quotidiennes de Canal+

J'ai l'historique des playlists sur les 8 derniers jours.
https://github.com/WassimAttar/canal-qu … /playlists

Je vais faire l'analyse pour repérer les playlists vivantes et les associer à une émission en particulier.

outcast

Re : [python] Téléchargement automatique des quotidiennes de Canal+

J'ai analysé les playlists.
Pour chaque émission, voici la liste des playlists dans laquelle elle est la seule à apparaître.
ça signifie que ces playlists sont plus ou moins équivalentes à des bonus prés.

Exemple concret :
LES_GUIGNOLS
id 222 : 233 fois
id 672 : 54 fois
id 684 : 51 fois
id 48 : 16 fois
id 3166 : 7 fois
id 1126 : 6 fois
id 1214 : 3 fois
id 787 : 1 fois
id 1222 : 1 fois

Il y a 4 playlists en tête :
id 222 : 233 fois
id 672 : 54 fois
id 684 : 51 fois
id 48 : 16 fois
Laquelle est la bonne ?
Faut analyser.

La 222 :
http://service.canal-plus.com/video/res … /cplus/222
Elle contient les 233 dernières vidéos des guignols.
La 672 :
http://service.canal-plus.com/video/res … /cplus/672
C'est le duplex grand journal / guignols juste avant les guignols.
La 684 :
http://service.canal-plus.com/video/res … /cplus/684
C'est les bonus  des guignols.
La 48 :
http://service.canal-plus.com/video/res … s/cplus/48
Elle contient les 16 dernières vidéos des guignols.

Pour ceux qui veulent l’émission uniquement, c'est 222 ou 48.
Ceux qui veulent les 233 dernières vidéos choisissent 222.
Ceux qui veulent un historique court choisissent 48.

Il y a le cas simple ou pour une émission il n'y a qu'une seule playlist :
LE_CERCLE
id 232 : 10 fois

Dernière modification par outcast (Le 07/06/2015, à 16:26)

outcast

Re : [python] Téléchargement automatique des quotidiennes de Canal+

10MINUTESTOAMERICA
id 3014 : 12 fois

24_LIVE_ANOTHER_DAY
id 2596 : 17 fois
id 2614 : 5 fois
id 2655 : 5 fois
id 2656 : 11 fois

30 ROCK
id 358 : 20 fois

30 ROCK SAISON 6
id 1575 : 6 fois

30ANS
id 3096 : 5 fois
id 3125 : 4 fois
id 3146 : 2 fois
id 3153 : 16 fois
id 3165 : 2 fois
id 3172 : 7 fois
id 3178 : 31 fois

La liste des émissions est trop longue pour être postée dans son intégralité sur le forum.
Elle est disponible ici :
https://raw.githubusercontent.com/Wassi … ssions.txt

Dernière modification par outcast (Le 07/06/2015, à 13:33)