[script] Télécharger de nombreuses quotidiennes de canal+ (suite)

jajaX · Le 09/06/2010, à 12:22

ça marche nikel
on peut même télécharger plusieurs émissions en même temps

olaf.10 · Le 10/06/2010, à 01:28

Ceux qui suivent Les Guignols auront sûrement remarqué qu'il manque les vidéos des 4 et 7 juin, donc je vous poste les urls ici :

flvstreamer -er rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/LES_GUIGNOLS_QUOTIDIEN_100604_AUTO_7743_169_video_H.flv > LES_GUIGNOLS_QUOTIDIEN_100604_AUTO_7743_169_video_H.flv
flvstreamer -er rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/LES_GUIGNOLS_QUOTIDIEN_100607_AUTO_7776_169_video_H.flv > LES_GUIGNOLS_QUOTIDIEN_100607_AUTO_7776_169_video_H.flv

Le problème ne vient pas du script, mais de là : xmllint --output manque-4-et-7-juin.xml "http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/search/guignols"

==> jajaX et Uglycharly,

jajaX a écrit :

ça marche nikel
on peut même télécharger plusieurs émissions en même temps

Uglycharly a écrit :

t'as la classe ! je teste ça ce soir ! Merci pour ton boulot Olaf (et à tous les gentils contributeurs) !

C'est vrai qu'il est devenu pas mal ce petit script. Comme je suis un peu à court d'idée pour celui-ci, j'ai décidé de me mettre à l'écriture d'un autre script pour M6/W9. Je vous enverrais des releases privées (sauf si vous êtes libristes, le plugin flash est nécessaire ) dès que le travail aura bien avancé.

==> Epy,
C'est à propos de ton problème : je suis sur une piste, j'essaierais ça dans une virtualbox dès que j'ai le temps et je te tiendrais au courant.

Dernière modification par olaf.10 (Le 10/06/2010, à 11:22)

jajaX · Le 10/06/2010, à 09:22

salut

ok merci pour les releases privées. je suis preneur

chaoswizard · Le 12/06/2010, à 10:33

Hum, je ne sais pas pour vous mais depuis la fin de la semaine dernière, les fichiers XML récupérés à partir de http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/search/* ne sont plus mis à jour...

EDIT : Ô oui, il y a bien eu une modif : maintenant, si on essaye de récupérer le lien d'une vidéo, on a une belle pub : http://vod-flash.canalplus.fr/WWWPLUS/PROGRESSIF/1006/CLASSIQUE_VIDEO_100609_CAN_140423_video_L.flv

Dernière modification par chaoswizard (Le 12/06/2010, à 10:42)

Epy · Le 12/06/2010, à 12:15

Je viens de remarquer une chose (en plus qu'effectivement ça ne semble plus du tout mis à jour) si on annule un téléchargement d'une émission quand il nous propose la liste (et qu'on ne trouve donc pas de nouvelle émission à récupérer) il annule toutes les autres émissions qui étaient demandées par la sélection multiple sans même les essayer.
Il revient au menu principal

chaoswizard · Le 12/06/2010, à 12:55

Ouais, c'est la mer**.
En plus je crois que tous nos scripts étaient basés sur ces fameux fichiers XML...

En plus, maintenant que le site est en full flash, ça ne sera pi être pas si facile de retrouver les liens pour mettre dans les scripts...

Dernière modification par chaoswizard (Le 12/06/2010, à 13:12)

Epy · Le 12/06/2010, à 13:01

olaf.10 · Le 12/06/2010, à 15:21

Vous faites pas de bile les gars, louiz' nous héberge les liens des vidéos, je vous invite à lui écrire un mot de remerciement ici : http://forum.ubuntu-fr.org/viewtopic.php?pid=3542144#p3542144

Par ailleurs, peut-être que canal+ a juste un problème passager avec son générateur de XML, nous verrons...

Est-ce que quelqu'un aurait une vidéo récente des guignols avec un nom en CAN (pas AUTO) comme celle-ci :

LES_GUIGNOLS_QUOTIDIEN_091022_CAN_105709_video_H.flv

ce serait pour trouver la vidéo du 9 juin, merci.

==> Epy,

Epy a écrit :

Je viens de remarquer une chose (en plus qu'effectivement ça ne semble plus du tout mis à jour) si on annule un téléchargement d'une émission quand il nous propose la liste (et qu'on ne trouve donc pas de nouvelle émission à récupérer) il annule toutes les autres émissions qui étaient demandées par la sélection multiple sans même les essayer.
Il revient au menu principal

Je viens de regarder, en effet il ne faut pas "annuler" mais valider la liste vide.

chaoswizard · Le 12/06/2010, à 16:01

olaf.10 a écrit :

Vous faites pas de bile les gars, louiz' nous héberge les liens des vidéos, je vous invite à lui écrire un mot de remerciement ici : http://forum.ubuntu-fr.org/viewtopic.php?pid=3542144#p3542144

Euh sur le site en question, il en manque beaucoup...
Par exemple : http://louiz.org/~louiz/canal/zapping/zapping
Il manque toute la semaine sauf hier.

Le script que tu lui demande de faire tourner utilise les fameux fichiers XML donc ça ne résous pas le problème...
Espérons que ces fichiers soient encore maintenus !

Dernière modification par chaoswizard (Le 12/06/2010, à 16:02)

olaf.10 · Le 12/06/2010, à 16:38

==> chaoswizard,
Le script intègre un historique (le contenu existant du fichier n'est jamais effacé), donc je pense que si canal+ place une vidéo dans son xml, même pour une très courte période, et que nous la récupérons à temps eh bien c'est gagné. Pour l'instant ce qu'on ne sait pas c'est si canal+ a un problème ou si il le fait exprès, je pencherais pour la deuxième solution.

J'ai trouvé la vidéo du 9, voici l'ensemble :

flvstreamer -er rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/LES_GUIGNOLS_QUOTIDIEN_100608_AUTO_7792_169_video_H.flv > LES_GUIGNOLS_QUOTIDIEN_100608_AUTO_7792_169_video_H.flv
flvstreamer -er rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/LES_GUIGNOLS_QUOTIDIEN_100610_CAN_140499_video_H.flv > LES_GUIGNOLS_QUOTIDIEN_100609_CAN_140499_video_H.flv
flvstreamer -er rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/LES_GUIGNOLS_QUOTIDIEN_100610_AUTO_7813_169_video_H.flv > LES_GUIGNOLS_QUOTIDIEN_100610_AUTO_7813_169_video_H.flv
flvstreamer -er rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/LES_GUIGNOLS_QUOTIDIEN_100611_AUTO_7827_169_video_H.flv > LES_GUIGNOLS_QUOTIDIEN_100611_AUTO_7827_169_video_H.flv

D'ailleurs, celles du 10 et du 11 sont déjà chez louiz'.

Dernière modification par olaf.10 (Le 12/06/2010, à 20:44)

chaoswizard · Le 12/06/2010, à 17:17

Espérons que tu ais raison et que les liens passent (même pour un temps très court) dans les fichiers XML !

Dernière modification par chaoswizard (Le 12/06/2010, à 17:23)

olaf.10 · Le 12/06/2010, à 23:44

On dirait que ça fonctionne !! Les groland zapping et action discrète ont été greppés, et nous ne sommes que samedi. Faudra voir en semaine, certes, mais je crois qu'on tient le bon bout.

Edit : nouvelle version : http://olaf.10.free.fr/canal/canal_0.8.6_all.deb

Changelog :
- Support du serveur de louiz'
- Ajout de l'émission Pop com
- Le filtrage par défaut est passé de on à off
- Possibilité d'ajouter/supprimer les raccourcis en lançant les exécutables en root

Dernière modification par olaf.10 (Le 13/06/2010, à 02:38)

chaoswizard · Le 13/06/2010, à 14:50

Ah bien alors (mais bizarrement comme fonctionnement, je ne sais pas ce qu'ils ont foutu...).

3 questions :
- A quelle fréquence est lancée le script ?
- Il ne vaudrait pas mieux faire un bon parser XML en python plutot que de faire ça en shell ?
- Est-ce que la syntaxe des fichiers risque de bientôt changer ? (histoire que je puisse modifier mes scripts)

Merci

geo82 · Le 13/06/2010, à 15:00

terrible l'application bravo
bonne continuation

olaf.10 · Le 14/06/2010, à 00:59

geo82 a écrit :

terrible l'application bravo
bonne continuation

Merci.

chaoswizard a écrit :

- A quelle fréquence est lancée le script ?

Les émissions sont mises à jour toutes les heures. Aussi j'ai écrit un roulement pour éviter au serveur dédié de se faire bannir, on sait jamais, donc le serveur envoie une nouvelle requête toutes les 3 minutes (60/20).

chaoswizard a écrit :

- Il ne vaudrait pas mieux faire un bon parser XML en python plutot que de faire ça en shell ?

Je ne sais pas, je ne connais "que" bash et un peu de sed. obiwankennedy saurait peut-être ?

chaoswizard a écrit :

- Est-ce que la syntaxe des fichiers risque de bientôt changer ? (histoire que je puisse modifier mes scripts)

Non non, que ce soit les urls ou le contenu des fichiers, normalement rien ne changera.

rudy1210 · Le 14/06/2010, à 08:22

Salut tout le monde

Je suis content de voir qu'une solution a été trouvée...;)
Quelques émissions de la semaine dernière manquent mais j'ai pu récupérer les liens (boite à questions, zapping, SAV, Le Petit Journal et le Meilleur du hier). Je peux poster les liens si qq1 est intéressé...

@olaf : je suis impatient de voir ton script M6/W9... Sous Windobe, le soft Mediacub s'est enrichi des flux C+,TF1 vidéo, Virgin 17(:/???) et infos France Télévision. La partie configuration contient les paramètres de téléchargement. J'espère que ça t'aidera.:)

JeanQuench · Le 14/06/2010, à 21:10

Hello !
Super les gars, beau travail.

Je me demandais si on ne pouvait pas "deviner" le lien des émissions manquantes, par exemple pour Groland :

rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/GROLAND_EMISSION_100612_CAN_141010_video_H.flv

on peut deviner que l'émission du 05 juin sera de la forme suivante :

rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/GROLAND_EMISSION_100605_CAN_??????_video_H.flv

Après il nous reste à compléter les ?????? :
- soit tester les combinaison intermédiaires.
- soit trouver la logique derrière ces 6 chiffres.

Des idées ?

®om · Le 14/06/2010, à 21:29

Pour ceux qui veulent automatiser la récupération (grâce à ces scripts) et l'encodage en OGG/Theora, j'ai écrit un billet récemment : Aggréger différentes sources de VOD en OGG/Theora.

Dernière modification par ®om (Le 14/06/2010, à 22:24)

olaf.10 · Le 14/06/2010, à 22:58

Bonsoir à tous,

==> rudy1210,
Le serveur dédié est peu fourni en données pour l'instant, mais il se remplira au fur et à mesure.
Quant au script M6/W9... en fait, deux possibilités me sont offertes :
- soit j'oblige l'installation du plugin flash pour consulter le site internet de M6 et télécharger les vidéos à partir de celui-ci (grâce au récupérateur de liens : rtmpsrv).
- soit je récupère directement les pages de chez M6 sans passer par le navigateur... seulement d'après zoug le développeur de MediaCUB, ces pages sont cryptées (de plus je ne sais même pas où elles se trouvent !).
De la réflexion en perspective, donc...

==> JeanQuench,
Nul besoin de trouver une logique heureusement, ces numéros sont simplement l'ordre de création, donc la vidéo du 5 juin aura un numéro inférieur à 141010 (voir les urls des posts #228 et #236).

==> ®om,
Je testerais dès que je peux. Si tu veux des mots-clés pour ton appli, tu as tout ce qu'il faut sur le premier post.
Au passage j'en rajoute trois :

dimanche+ ## Dimanche+
interieur ## Intérieur sport
matinale ## La matinale

==> Epy,
Désolé, je n'ai finalement pas d'astuce à te proposer pour réparer ton xterm.

Dernière modification par olaf.10 (Le 14/06/2010, à 23:32)

chaoswizard · Le 15/06/2010, à 20:11

JeanQuench a écrit :

Hello !
Super les gars, beau travail.
Je me demandais si on ne pouvait pas "deviner" le lien des émissions manquantes, par exemple pour Groland :
rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/GROLAND_EMISSION_100612_CAN_141010_video_H.flv
on peut deviner que l'émission du 05 juin sera de la forme suivante :
rtmp://vod-fms.canalplus.fr/ondemand/videos/1006/GROLAND_EMISSION_100605_CAN_??????_video_H.flv
Après il nous reste à compléter les ?????? :
- soit tester les combinaison intermédiaires.
- soit trouver la logique derrière ces 6 chiffres.
Des idées ?

Effectivement, ça me semble une assez bonne solution si on ne peut pas avoir les liens autrement.

jajaX · Le 16/06/2010, à 00:14

salut

je viens de mettre à jour vers la dernière version et lancé le téléchargement du zapping. je sais que ma connexion internet est pas forme en ce moment mais c'est d'une lenteur !! normal ?

Epy · Le 16/06/2010, à 09:47

Tu t'es probablement fait blacklister si tu as lancé plusieurs téléchargements trop rapidement, ou tentés plusieurs fois, il faut patienter environ 1h ou 2 pour que ça revienne à la normale (enfin j'espère)

jajaX · Le 16/06/2010, à 12:57

ok mais j'avais rien de lancé avant (pour le script), bizarre...

olaf.10 · Le 18/06/2010, à 02:23

Une nouvelle version est disponible (v0.8.7) : http://olaf.10.free.fr/canal/canal_0.8.7_all.deb
Somme MD5 : 15f1392327ca32bfd0021e7fd5a9da6c

Changelog:
- Rétablissement de l'ancien système de parsing
- Fonctionnement sensiblement optimisé
- Ajout de 4 émissions : Confidences+, Dimanche+, Intérieur sport et La matinale
- Ajout d'ARTE+7 pour expérimentation

@ jajaX,

jajaX a écrit :

salut
je viens de mettre à jour vers la dernière version et lancé le téléchargement du zapping. je sais que ma connexion internet est pas forme en ce moment mais c'est d'une lenteur !! normal ?

Comme le générateur de XML de CANAL+ refonctionne, le script n'a plus recours au serveur de louiz, ça règlera peut-être ce problème de lenteur.

@ Epy,
J'ai mis à jour les patch du post #225.

A+

PS : le problème avec ARTE+7 est que ça ne télécharge qu'une minute, ensuite ça coupe, du moins c'est ce que j'ai constaté chez moi...

jajaX · Le 18/06/2010, à 11:34

ok, je mets à jour et je te tiens au courant merci;)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#226 Le 09/06/2010, à 12:22

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#227 Le 10/06/2010, à 01:28

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#228 Le 10/06/2010, à 09:22

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#229 Le 12/06/2010, à 10:33

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#230 Le 12/06/2010, à 12:15

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#231 Le 12/06/2010, à 12:55

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#232 Le 12/06/2010, à 13:01

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#233 Le 12/06/2010, à 15:21

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#234 Le 12/06/2010, à 16:01

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#235 Le 12/06/2010, à 16:38

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#236 Le 12/06/2010, à 17:17

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#237 Le 12/06/2010, à 23:44

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#238 Le 13/06/2010, à 14:50

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#239 Le 13/06/2010, à 15:00

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#240 Le 14/06/2010, à 00:59

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#241 Le 14/06/2010, à 08:22

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#242 Le 14/06/2010, à 21:10

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#243 Le 14/06/2010, à 21:29

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#244 Le 14/06/2010, à 22:58

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#245 Le 15/06/2010, à 20:11

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#246 Le 16/06/2010, à 00:14

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#247 Le 16/06/2010, à 09:47

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#248 Le 16/06/2010, à 12:57

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#249 Le 18/06/2010, à 02:23

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

#250 Le 18/06/2010, à 11:34

Re : [script] Télécharger de nombreuses quotidiennes de canal+ (suite)

Pied de page des forums