Contenu | Rechercher | Menus

Annonce

DVD, clés USB et t-shirts Ubuntu-fr disponibles sur la boutique En Vente Libre

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#1 Le 08/03/2020, à 09:54

k3c

surveiller en CLI un téléchargement de Captvty

Avertissement : c'est juste pour le fun, vu que toutes les infos sont dans Captvty

Un téléchargement de profilage est en cours

ls -l /proc/$(pgrep Captvty)/fd | grep Profilage                                                                                                                           
lrwx------ 1 gg gg 64 mars   8 07:58 79 -> /home/gg/Vidéos/Captvty/ProfilageLouvesRTBF.be2020_03_0722_40.tmp.ts

donc le file descriptor numéro 79 est celui qui míntéresse

je le stocke

thefd=$(ls -l /proc/$(pgrep Captvty)/fd | awk '/Profilage/ {print $9}') 

ce qui m'intéresse est ce qui suit
pos:

cat /proc/$(pgrep Captvty)/fdinfo/$thefd                                                                                                                                  
pos:	639233276
flags:	02104002
mnt_id:	22

donc je fais

awk '/pos:/ {print $NF}' /proc/$(pgrep Captvty)/fdinfo/$thefd                                                                                                             
656958668

et pour le répéter je fais

watch -n 10 "awk '/pos:/ {printf \$NF}' /proc/$(pgrep Captvty)/fdinfo/$thefd" 

ce qui affiche

671095140
674925076

voilà, c'est sans doute bien améliorable, mais cela fonctionne :-)

Dernière modification par k3c (Le 08/03/2020, à 20:39)


Archlinux sur Xiaomi Air 13

Hors ligne

#2 Le 08/03/2020, à 13:31

kamaris

Re : surveiller en CLI un téléchargement de Captvty

C'est instructif (en tout cas pour moi), mais est-ce que ça n'est pas plus simple de faire

lsof -p $(pgrep Captvty) | grep 'Profilage'

La 7ème colonne donne la taille du fichier, et si on veut plutôt l'offset, on peut ajouter l'option -o.

Hors ligne

#3 Le 08/03/2020, à 14:22

k3c

Re : surveiller en CLI un téléchargement de Captvty

@kamaris

oui, tu as raison, en fait, j'ai repris une idée vue dans

http://yazgoo.github.io/blag/2018/10/10 … -proc.html

mais si on combine tes 2 idées, on peut afficher le pourcentage, et le débit.


Archlinux sur Xiaomi Air 13

Hors ligne

#4 Le 08/03/2020, à 17:47

kamaris

Re : surveiller en CLI un téléchargement de Captvty

Le pourcentage, c'est pas évident, parce qu'il faudrait avoir la taille finale.
Si le logiciel de téléchargement dispose de cette info, et qu'il préalloue la taille totale, alors peut-être que c'est possible : lsof renverrait la taille finale, et lsof -o l'offset du téléchargement en cours.
Par contre, pour le débit, on peut toujours l'estimer à partir de deux valeurs successives renvoyées par la commande (la taille si elle est variable, l'offset sinon).

Hors ligne

#5 Le 09/03/2020, à 01:01

k3c

Re : surveiller en CLI un téléchargement de Captvty

Je pense que la taille est dans les gros fichiers XML qui donnent des infos sur les vidéos (titre, acteurs, heure de début/fin, qualité de la vidéo...)


Archlinux sur Xiaomi Air 13

Hors ligne

#6 Le 09/03/2020, à 03:44

moko138

Re : surveiller en CLI un téléchargement de Captvty

Pouvez-vous obtenir l'url réelle de téléchargement ?

Si oui (mais je suppose que ce serait trop beau...) on peut faire :

wget -c URL

qui préaffiche la taille finale
et qui affiche :
  - le pourcentage déjà téléchargé
  - une barre de progression
  - et le débit moyen depuis le début du téléchargement.


%NOINDEX%
Un utilitaire précieux : ncdu
Photo, mini-tutoriel :  À la découverte de dcraw

Hors ligne

#7 Le 09/03/2020, à 04:49

melixgaro

Re : surveiller en CLI un téléchargement de Captvty

Le problème est que le mode de diffusion à la mode (pour des raisons techniques plus ou moins honnêtes) se fait via vidéos segmentées. Donc les URLs ne pointent pas vers une vidéo complète mais vers un bout de quelques secondes et il faut tout recoller au fur et à mesure.

Radio France s'y est mise aussi (pour de l'audio tout simple !) puisque par défaut (donc en passant par leur site web) le son est servi par segments de 4s environ. À part justifier des salaires de dévs, je ne vois pas ce qui posait problème avec le lien vers le flux (non fragmenté) mp3 (d'autant qu'il existe toujours pour l'instant). Là, où il y avait une seule transaction HTTP (pour se brancher sur le flux mp3) il y en a maintenant environ 900 (4s * 900 = 3600s = 1h) pour écouter une émission d'1h. On saluera la sobriété algorithmique dont notre époque est spécialiste (c'était de l'ironie, bien sûr).


Linux depuis ~2007. Xubuntu seulement.

Hors ligne

#8 Le 09/03/2020, à 11:58

moko138

Re : surveiller en CLI un téléchargement de Captvty

Mais, melixgaro,
Pour le direct :

wget https://icecast.radiofrance.fr/franceinter-lofi.aac

Et pour le podcast :

wget -c <URL>

fonctionnent malgré tout.


%NOINDEX%
Un utilitaire précieux : ncdu
Photo, mini-tutoriel :  À la découverte de dcraw

Hors ligne

#9 Le 09/03/2020, à 12:17

melixgaro

Re : surveiller en CLI un téléchargement de Captvty

De rien moko.
Oui c'est vrai que pour RF, il y a toujours le lien direct mp3 et aac, chacun décliné en plusieurs qualités.
Pour les 900 transactions HTTP, c'est une estimation basse puisqu'en fait, il y a aussi des requêtes pour savoir quel sera le prochain fragment, donc c'est peut-être proche du double de requêtes, soit 1800 pour une heure de radio. roll


Linux depuis ~2007. Xubuntu seulement.

Hors ligne

#10 Le 09/03/2020, à 14:46

grandtoubab

Re : surveiller en CLI un téléchargement de Captvty

pour info streamlink a un plugin radio.net,  pour accéder à https://www.radio.net/s/franceinter

streamlink ouvre le flux sélectionné directement dans vlc

exemple

streamlink  https://www.radio.net/s/franceinter
[cli][info] Found matching plugin radionet for URL https://www.radio.net/s/franceinter
Available streams: 128k_alt (worst), 128k, 190k_alt, 190k (best)
streamlink  https://www.radio.net/s/franceinter best
[cli][info] Found matching plugin radionet for URL https://www.radio.net/s/franceinter
[cli][info] Available streams: 128k_alt (worst), 128k, 190k_alt, 190k (best)
[cli][info] Opening stream: 190k (http)
[cli][info] Starting player: /usr/bin/vlc

https://github.com/streamlink/streamlink

On peut aussi s'en servir comme alternative à Captvty

streamlink https://www.france.tv/france-5/la-grande-librairie/la-grande-librairie-saison-12/1275319-l-amour-et-la-guerre.html best -o lgl.mp4

Dernière modification par grandtoubab (Le 09/03/2020, à 15:34)


Linux tout seul sur HP Pavilion DV7 et Acer Aspire T650, Canon MG3650 en wifi
Debian 11 Bullseye Gnome/Xorg, Gnome/Wayland avec SDDM
https://bidouilledebian.wordpress.com/
ON M'A VU DANS LE VERCORS, SAUTER A L'ELASTIQUE..... J'AI DANS LES BOTTES DES MONTAGNES DE QUESTIONS....

Hors ligne

#11 Le 09/03/2020, à 17:35

melixgaro

Re : surveiller en CLI un téléchargement de Captvty

Oui, je trouve qu'il y a suffisamment d'outil pour ne plus parler de captvty sur linux. Pas forcément tous aussi conviviaux que captvty à l'usage mais l'installation de captvty sur linux, sans être insurmontable, n'est pas non plus à la portée de tous.


Linux depuis ~2007. Xubuntu seulement.

Hors ligne

#12 Le 09/03/2020, à 19:31

kamaris

Re : surveiller en CLI un téléchargement de Captvty

De mon point de vue, le problème n'est pas tellement de trouver une alternative à captvty pour télécharger un fichier quand on a son url, mais plutôt pour trouver l'url en question.
C'est-à-dire un logiciel qui regroupe les programmes tv téléchargeables en replay, triés par chaine, date, heure, durée, avec une fonction de recherche selon ces critères.
Ce logiciel-là n'existe pas à ma connaissance.

Personnellement, comme les seules choses qui m'intéressent à la télé sont les documentaires sur france tv ou arte, je m'en sors avec :
- qarte, dont j'ai modifié un peu l'affichage des programmes, et auquel j'ai ajouté une fonction de tri / recherche par date, heure, durée ;
- cette page du site france tv, qui regroupe tous les documentaires des chaines du groupe : https://www.france.tv/documentaires/replay-videos/.

Pour qarte c'est bien, efficace et sans fioriture, même si un peu long à initialiser comparé à captvty.
Pour la page web des docus france tv, ça passe, même si elle est polluée par mille liens « Météo à la carte », dont on se demande bien ce qu'ils viennent faire là, et aussi divers liens vers des extraits de quelques minutes qui sont inutiles.
Mais au moins, ça n'est pas saturé de pubs, la page n'est pas trop lourde, et quand on clique sur « plus de vidéos » en bas de page, ça se charge vite, contrairement à tant de pages de programme tv en ligne…

Ensuite, une fois que j'ai mon url de téléchargement, je la passe à youtube-dl, y compris pour qarte : je préfère gérer tous mes téléchargements avec le même logiciel, et en ligne de commande.
Au final, je n'utilise donc plus captvty, mais encore une fois, c'est parce que je ne m'intéresse qu'à un type de programmes : si je voulais avoir un accès simple, rapide et unifié aux programmes tv français en général, c'est toujours vers ce logiciel que je me tournerais.

Hors ligne

#13 Le 09/03/2020, à 20:13

melixgaro

Re : surveiller en CLI un téléchargement de Captvty

Merci kamaris pour ton avis !

Je comprends le besoin que tu décris mais avec un tel logiciel, plus besoin de passer par les sites des chaînes, et ça, ça me pose un problème aussi. En particulier, pour arte et francetv qui font un effort d'éditorialisation (surtout arte) et ne pas visiter le site fait passer à côté de beaucoup de chose. Arte et francetv offrent un moteur de recherche assez merdique quand même. Un seul champ, impossible de préciser si tu fais une recherche sur le titre/sous-titre/personnes/autres, impossible de chercher par date de diffussion (ou autre type de date), impossible d'exclure des familles de programmes (par exemple, les jeux), etc


Linux depuis ~2007. Xubuntu seulement.

Hors ligne

#14 Le 09/03/2020, à 22:07

k3c

Re : surveiller en CLI un téléchargement de Captvty

@ kamaris

tu sais que Captvty v3 a une fonction de recherche par mots-clés ?

http://v3.captvty.fr/

par exemple, extrait de
https://hub.docker.com/r/k3ck3c/captvty_v3_1/

Let you search for a keyword in all the TV replay

For example, "Inspecteur Barnaby" may be found in

France3 C8 Tou.tv

Dernière modification par k3c (Le 09/03/2020, à 22:10)


Archlinux sur Xiaomi Air 13

Hors ligne

#15 Le 09/03/2020, à 22:48

kamaris

Re : surveiller en CLI un téléchargement de Captvty

@melixgaro : la question de la visite de leur site renvoie à la question plus vaste du financement de l'audiovisuel public (si je ne me trompe pas en faisant le rapprochement), et là on dévierait trop du sujet, mais disons que pour moi, il faudrait tout revoir, depuis la manière de se financer jusqu'à la manière de dépenser l'argent.
En plus de ça, effectivement, leurs sites ne sont pas fonctionnels : ils ne sont manifestement pas conçus pour que l'utilisateur puisse faire des recherches et trouver ce qu'il veut.

@k3c : oui, j'avais vu cette fonction de recherche, ça marche pas mal d'ailleurs.
captvty est un bon logiciel, c'est juste dommage qu'il ne soit pas libre…

Hors ligne

#16 Le 09/03/2020, à 22:59

melixgaro

Re : surveiller en CLI un téléchargement de Captvty

La question du financement de l'audiovisuel n'est évidemment pas complètement étrangère à la question du trafic sur les sites de rattrapage des chaînes.
La (non-)complexité du formulaire de recherche est aussi conforme à l'ère du temps avec des outils simples qui ne doivent faire qu'un nombre limité de choses, qui ne doivent surtout pas dissuader le client de s'en servir et par conséquent qui ne laisse pas une grande liberté d'action à l'utilisateur ou l'utilisatrice. D'un point de vue marketing (et donc pour ne pas effrayer l'internaute), un formulaire à un champ est vachement mieux qu'un formulaire à multiples champs (de là à penser qu'ils nous prennent pour des neuneus, il n'y a qu'un pas).


Linux depuis ~2007. Xubuntu seulement.

Hors ligne

#17 Le 09/03/2020, à 23:33

k3c

Re : surveiller en CLI un téléchargement de Captvty

@kamaris

Le problème n'est pas d'écrire un clone libre de Captvty, c'est de le maintenir, Tvdownloader était chouette, mais est abandonné

Cela dit, on pourrait se limiter à une interface graphique, et un appel à youtube-dl qui télécharge (je crois) toutes les chaînes françaises


Archlinux sur Xiaomi Air 13

Hors ligne

#18 Le 10/03/2020, à 01:44

kamaris

Re : surveiller en CLI un téléchargement de Captvty

Quand j'avais mis le nez dans le code de qarte, je m'étais dit que j'allais essayé d'ajouter du contenu venant de france tv.
Et puis finalement, une fois ajoutés quelques filtres, comme je n'avais plus de réel besoin (cf. post #12), j'ai perdu la motivation (d'autant que je découvrais à peu près python à cette occasion, donc il fallait quand même se forcer un peu…).
Mais il me semble que qarte ne serait pas une mauvaise base pour la partie interface graphique.

Hors ligne

#19 Le 10/03/2020, à 13:52

k3c

Re : surveiller en CLI un téléchargement de Captvty

@ kamaris

est ce que videoob ou qvideoob, les applis CLI et GUI de weboob font ce que tu veux ?

Je ne crois pas , mais c'est une base, vois

http://weboob.org


Archlinux sur Xiaomi Air 13

Hors ligne

#20 Le 10/03/2020, à 15:49

kamaris

Re : surveiller en CLI un téléchargement de Captvty

Merci pour le lien, je ne connaissais pas smile
Il faudra que je regarde ça à tête reposée, il y a pas mal de choses là-dedans…

Hors ligne

#21 Le 10/03/2020, à 16:10

k3c

Re : surveiller en CLI un téléchargement de Captvty

j'adore weboob, chercher une recette de cuisine sur plein de sites en même temps, une location sur plein de sites immobiliers, récupérer ses comptes bancaires et envoyer une alerte si un mouvement dépasse un montant ou un compte est en dessous de..., chercher des radios et leurs  url  avec radioob...


Archlinux sur Xiaomi Air 13

Hors ligne

#22 Le 22/03/2020, à 13:07

k3c

Re : surveiller en CLI un téléchargement de Captvty

pour améliorer l'affichage, la taille par milliers

$ lsof -p $(pgrep Captvty) | awk '/Profilage/ { printf("%'"'"'d   %s\n",$7,$NF)}' 

ce qui peut afficher

215 898 636   /home/gg/Vidéos/Captvty/Profilage_RTBF.be_2020_03_21_22_53.tmp.ts

Archlinux sur Xiaomi Air 13

Hors ligne

#23 Le 25/03/2020, à 20:40

k3c

Re : surveiller en CLI un téléchargement de Captvty

pour faire un watch régulier

watch -n 10 "lsof -p $(pgrep Captvty) | awk '/titre-de-la-vidéo/ { printf(\"%'\"'\"'d   %s\n\",\$7,\$NF)}'"

Dernière modification par k3c (Le 25/03/2020, à 20:41)


Archlinux sur Xiaomi Air 13

Hors ligne

#24 Le 25/03/2020, à 21:48

kamaris

Re : surveiller en CLI un téléchargement de Captvty

C'est pas mal comme ça smile
On peut éventuellement remplacer « \"'\" » par « \' », pour gagner un peu en lisibilité :

watch -n 10 "lsof -p $(pgrep Captvty) | awk '/titre-de-la-vidéo/ { printf(\"%'\''d   %s\n\",\$7,\$NF)}'"

Sinon j'ai regardé un peu videoob, et c'est pas mal du tout, mais il y a un truc qui est dommage : la fonction search ne prend pas un pattern générique, du style . ou .* en regex.
Du coup, je n'ai pas réussi à lui faire afficher tous les programmes, filtrés seulement sur des critères de date et de durée par exemple, avec un truc comme ça :

videoob -f multiline -b francetelevisions -c 'date>2020-03-10 19:00:00 AND date<2020-03-12 05:00:00 AND duration>48m' search '.*'

Si on ne passe pas d'argument à search, ça ne va pas non plus, il sort en erreur : c'est vraiment dommage.
Tu sais s'il est possible de faire ça avec videoob ?

Hors ligne

#25 Le 25/03/2020, à 23:53

k3c

Re : surveiller en CLI un téléchargement de Captvty

@kamaris

merci pour l'amélioration

il me reste à passer ce que je cherche en paramètre, par exemple, lancer ce qui suit dans un .sh avec en paramètre $1 le nom de la vidéo cherchée, sur le modèle de

lsof -p $(pgrep Captvty) | awk -v vid=$1 '$0 ~ vid {print $7}'


Pour videoob, je l'ai utilisé tel quel, il faudrait regarder sur

https://git.weboob.org/weboob/weboob/issues

et

https://git.weboob.org/weboob/weboob/-/wikis/home

La communauté autour de weboob est active et dynamique.


Archlinux sur Xiaomi Air 13

Hors ligne