Contenu | Rechercher | Menus

Annonce

DVD, clés USB et t-shirts Ubuntu-fr disponibles sur la boutique En Vente Libre

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#401 Le 06/03/2022, à 23:51

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

bobo15995 a écrit :

En effet, un abonnement sur 1fichier sera mieux que de prendre un abonnement pour un VPN (plus cher en plus)...

Surtout qu'un abonnement VPN n'est pas la panacée... tu ne fais que déplacer la "confiance" de ton FAI (Fournisseur d'Accès à Internet) à ton fournisseur de VPN !..

Certains ont été surpris désagréablement... car les fournisseurs de VPN ne sont pas non plus au dessus des lois, même si ce ne sont pas les lois de la France.

Pour les choses "confidentielles" rien ne vaut TOR, en plus c'est gratuit !.. Bien sûr tu ne peux pas y faire certaines choses de façon simple car ça ne supporte pas certains protocoles majeurs comme UDP. big_smile


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#402 Le 18/03/2022, à 08:29

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

bobo15995 a écrit :

Merci pour cette réponse plus que complète !

En effet, j'ai partagé mon compte avec un autre membre de mon foyer. Il n'a pas la même IP. Mais bon... comme il s'agit de quelqu'un de mon foyer, je trouve ça vraiment exagéré de ne pas pouvoir lui partager l'accès.
C'est sur qu'après ça serait très compliqué pour 1fichier d'éviter les abus.

Je ne sais pas encore quoi faire. Entre écrire à 1fichier, utiliser un proxy/VPN ou simplement abandonner l'idée de partager mon compte.

Une petite news pour toi @bobo15995

https://www.nextinpact.com/lebrief/6865 … urs-foyers

Tu vois, il n'y a pas que 1fichier.com, même chez Netflix le "partage de codes" en dehors d'un domicile unique va devenir plus difficile (payant !) lol

Dernière modification par Zakhar (Le 19/03/2022, à 08:18)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#403 Le 10/04/2022, à 16:04

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

(10 Avril 2022) Version 1.9.0

La dernière version (1.8.4) datait maintenant de plus d'un an. Le développement n'est pas arrêté, bien au contraire, on a un tout nouveau tout beau "moteur de lecture".

Nouveautés par rapport à la 1.8.4

  • Nouveau : moteur de lecture tout nouveau (voir plus bas).

  • Optimisation: les statistiques ont évolué avec le nouveau moteur de lecture, et lorsque vous ne les utilisez pas, les appels sont "bouchonnés" pour ne pas perdre de temps.

  • Nouveau : option --threads pour régler le nombre de threads à une valeur différente de celle choisie automatiquement par le programme.

Évolution majeure
L'évolution ne concerne que la partie lecture, l'écriture est inchangée.
Le "moteur de lecture" a été complètement ré-écrit "from scratch". L'ancien était in-maintenable et comportait des bugs connus heureusement assez rares (race conditions).
Le nouvel algorithme de lecture :

  • Passage à 64 streams (en 64 bits) sur un nombre de threads variable (et configurable) au lieu de 4 threads avec 1 stream !

  • Optimisations de nouveaux patterns de lecture (à la "download accelerator")

  • Meilleure gestion des lectures en désordre qui fait gagner du temps en évitant les sous-requêtes au serveur.

  • Code plus générique, plus clair, sans lock (sémaphores uniquement).

  • Davantage d'options de build (debug, no stats)

  • Le package standard est construit sans debug et avec statistiques. Néanmoins, si vous ne les activez pas, les statistiques ne sont désormais plus calculées, ce qui évite de consommer des ressources !..

Raspberry Pi OS -ex Raspbian- (Raspbian Buster 32 bits)1fichierfs_1.9.0~buster-1_armhf.deb

$ stat -c "%s %n" 1fichierfs_1.9.0~buster-1_armhf.deb; sha256sum 1fichierfs_1.9.0~buster-1_armhf.deb; md5sum 1fichierfs_1.9.0~buster-1_armhf.deb
95552 1fichierfs_1.9.0~buster-1_armhf.deb
410204f3fd6e162a80c6e4f4903081f12ca8da38f839e3f757777c45c038845b  1fichierfs_1.9.0~buster-1_armhf.deb
a7f43f907726cf59aea934addd283923  1fichierfs_1.9.0~buster-1_armhf.deb

Dernière modification par Zakhar (Le 10/04/2022, à 16:23)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#404 Le 10/04/2022, à 17:35

Jarodd

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Un énorme merci à toi !

Dernière modification par Jarodd (Le 10/04/2022, à 17:35)


Ubuntu 20.04 LTS (64 bits)

Hors ligne

#405 Le 10/04/2022, à 18:10

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Jarodd a écrit :

Un énorme merci à toi !

De rien. smile

N'hésitez pas à rapporter si vous voyez des bugs. Ça fait bien deux mois que ça tourne chez moi... mais on sait jamais.


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#406 Le 01/05/2022, à 11:14

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

À l'occasion du "backport" vers astreamfs, j'ai corrigé deux bugs dans le "moteur" de lecture.
- Un crash
- Un écrasement mémoire dans les statistiques

Cela se produit bien sûr uniquement dans certaines situations bien spécifiques, le deuxième bug ne se produisant pas si vous n'utilisez pas les statistiques.

Je fais tourner quelque temps sur mes PCs, et je ferai un nouveau package 1.9.1 si je ne vois pas d'autre anomalie.

J'en profiterai pour rajouter sur le launchpad le packaging 22.04 puisqu'elle est désormais "release".

Si d'ici là vous pensez être affecté par un des deux bugs, vous pouvez toujours compiler à partir du Gitlab qui est à jour de ces deux corrections.

Bon 1er mai à toutes et tous.

Dernière modification par Zakhar (Le 01/05/2022, à 12:37)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#407 Le 05/05/2022, à 10:42

NOLAK

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Bonjour Zhakhar,

J'ai régulièrement un problème lors de copie.
Ce message tourne un petit moment ... si je m'en rend compte, je supprime les fichiers dans le dossier .upload.1fichierfs et je remonte le lecteur sinon j'ai le droit à un ban.

INFO: <<< API(in) (iReq:219364) file/mv.cgi POST={"urls":["https://1fichier.com/?xxxxxxxxxxx"],"destination_folder_id":xxxxxxx,"rename":"fichier"} name=(null)
ERROR: Ignoring: (http_code: 403) url=`https://api.1fichier.com/v1/file/mv.cgi` name=`(null)`.
INFO: >>> API(out) (iReq:219364) retry=0 json size=53 hCode=403
WARNING: failed to rename from upload dir using target dir ID xxxxxxx, trying full path: /dossier/dossier/fichier
ERROR: -2, failed to rename with full path: /dossier/dossier/fichier
WARNING: failed with -2 to move `F1899933xx680ebc9_0000058XX` to /xxxxxxx/ `fichier`

Tu as une idée de quoi ça vient ?

Hors ligne

#408 Le 05/05/2022, à 11:30

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Oui, sans doute d'un logiciel que tu utilises qui crée des répertoires temporaires qui sont ensuite supprimés intentionnellement par l'utilisateur (par exemple sur l'interface web).

Le principe de l'upload est que tous les fichiers sont envoyés vers le répertoire .upload-1fichierfs qui constitue un "stockage temporaire".
On ne peut pas faire autrement, parce qu'imagine que tu copies en parallèle deux fichiers vers des répertoires différent, c'est parfaitement Ok pour un "filesystem" normal.
Seulement, 1fichier.com ne permet qu'un seul répertoire d'upload, et on ne pourrait donc pas traiter ce cas !
Aussi 1fichierfs fait cela à partir d'un "sous-compte FTP" qu'il crée automatiquement, lequel possède ce répertoire cible. Cela permet de ne pas gêner l'utilisateur qui peut toujours paramétrer son propre répertoire d'upload FTP.

Par conséquent tout fichier uploadé est en premier posé dans le répertoire .upload-1fichierfs (créé automatiquement par 1fichierfs à la racine dès que tu fais une copie).
En même temps que cette copie temporaire, 1fichierfs mémorise de façon persistante l'ID du répertoire cible (numéro interne attribué par 1fichier.com à chaque répertoire), et de façon non persistante, le chemin du répertoire.
La différence de "peristence" est que le chemin complet n'est mémorisé que tant que le driver tourne, tandis que l'ID persiste même si tu coupes le driver.

Un fois le cycle d'upload terminé :
- Upload lui-même
- Attente de 5 minutes pour FTP
- Attente de X minutes dépendant de la taille du fichier (contrôles sur le stockage 1fichier.com côté serveur)

... 1fichierfs va réaliser l'opération finale qui consiste à renommer/déplacer le fichier sur .upload-1fichierfs vers le répertoire cible qu'avait précisé l'utilisateur initialement.

En premier lieu 1fichierfs va utiliser l'ID qui a été mémorisé. Cela offre l'avantage de fournir "gratuitement" la fonctionnalité de ne pas se tromper de cible même si des répertoires intermédiaires ont été renommés.
Exemple tu vas :
- Copier foo.txt vers le répertoire /files/bar
- Et pendant ou après la copie (mais avant le renommage/déplacement expliqué plus haut) tu décides de changer le nom du répertoire bar en foobar.

Eh bien ce renommage sera transparent puisque le changement du nom d'un répertoire ne change pas son ID, donc la copie finale par 1fichierfs ira bien vers /files/foobar, comme attendu.

Si la renommage/déplacement par ID échoue... cela signifie nécessairement que le répertoire en question a été intentionnellement effacé par l'utilisateur.
Dans ce cas, et tant que le driver n'a pas été arrêté, il va essayer d'utiliser le chemin complet qui est gardé en mémoire vive pour faire la copie finale. Il semble confirmé par ta "log" qu'effectivement le répertoire cible n'existe plus. Cette partie là est plus lente mais a l'avantage de ne pas provoquer de "403", juste ça échoue si le chemin complet n'existe plus. A noter qu'on ne trace pas les "renommages" car on par du principe que l'ID devrait être bon. Donc ce "fallback" n'est utile que si l'utilisateur a intentionnellement supprimé les répertoires, puis, pris de remords, les a recréés exactement à l'identique. Là on retrouvera alors le chemin complet avec un ID cible qui a changé puisque les ID sont toujours uniques.

Alors là plusieurs choses :
- en principe (mais il peut toujours y avoir des bugs !) si tu n'utilises qu'une seule instance de 1fichierfs pour faire tes copies, elle ne te laissera pas effacer un répertoire qui est la cible d'une copie en cours, car même si le fichier n'est pas encore physiquement dans le répertoire en question, le driver a bien noté ton intention de le copier à cet endroit, et il n'est pas possible de supprimer un répertoire non vide.
- cependant, cela est si tu utilises uniquement une instance unique de 1fichierfs. Bien sûr, si en parallèle tu vas sur l'interface web, le nouveau répertoire qui a été créé apparaît vide pendant un certain temps (le temps du cycle d'upload expliqué plus haut). Donc rien n'empêche de supprimer le répertoire sur l'interface web pendant ce temps là. La suppression peut aussi venir si tu as plusieurs instances de 1fichierfs sur des machines différentes. Les instances ne communiquant pas entre elle, il est possible de supprimer le répertoire cible d'un upload sur instance A à partir de instance B pendant le cycle upload.
- enfin, tâcher d'accéder ou renommer vers un répertoire qui n'appartient pas à l'utilisateur (ou a été supprimé) est compté par 1fichier.com comme une tentative de malversation, c'est à dire comme si tu essayais d'accéder aux répertoires des autres, et le code retour est donc 403. Hélas après un certain nombre de 403 c'est effectivement le ban

Il n'y a malheureusement rien que 1fichierfs puisse faire contre une telle "désynchronisation intentionnelle provoquée par l'utilisateur", c'est à dire si toi (ou quelqu'un qui a accès) réalise des opérations via 1fichierfs et en parallèle supprime un répertoire indispensable sur l'interface web.

La log que tu montres avec la tentative "fallback" sur le nom complet ne peut exister (sauf bug encore !) que si tu as provoqué cette désynchronisation tandis que 1fichierfs tournait.
En effet, si tu l'arrêtes et le redémarres, il va faire la "reprise", mais là il n'a plus les informations sur le chemin complet, seulement les ID des répertoires cibles.

Le bannissement peut aussi se produire à la reprise si tu as des copies vers plusieurs répertoires différents, et que ces répertoires ont été supprimés.
Encore une fois, il n'y a malheureusement rien que 1fichierfs puisse faire contre une désynchronisation qui a été provoquée intentionnellement... et qui malheureusement, si elle est trop répétée, entraîne un "ban" temporaire de 1fichier.

Il est possible que tu n'aies pas conscience de cette désynchro "intentionnelle" parce qu'elle pourrait être provoqué par une autre logiciel, mais sauf bug (encore une fois toujours possible), la chose ne peut venir que de cela.

Dis m'en donc davantage si tu penses que c'est un bug, potentiellement en message privé si tu préfères.

Dernière modification par Zakhar (Le 05/05/2022, à 11:58)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#409 Le 05/05/2022, à 11:59

NOLAK

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Merci, tu m’as bien éclairé, j’ai en effet un logiciel qui me supprime les répertoires vides et justement sur une autre instance.
J’utilise Docker et j’ai montés deux répertoires et dans deux container différents, je comprends mieux. Je vais corriger le problème.
Comment je fais pour te contacter en privé, je ne trouve pas les mp sur ce forum ?

Dernière modification par NOLAK (Le 05/05/2022, à 12:56)

Hors ligne

#410 Le 05/05/2022, à 13:03

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Voila donc l'explication effectivement !

Il faut aussi éviter de supprimer "à la main" les répertoires vides qui se trouvent dans /.upload-1fichierfs car ce sont précisément eux qui permettent la "reprise", c'est-à-dire savoir où renommer/déplacer un fichier si le driver a été arrêté et ensuite redémarré.

De façon plus générale, un problème constant des montages "réseau" est précisément cette désynchronisation qui peut toujours survenir si on fait des manipulations "en parallèle" sur la structure distante.
Travailler en "écriture" (suppression, renommage) de parties communes de l'arbre distant sera toujours périlleux car cela crée un désynchronisation contre laquelle il est difficile de se protéger totalement dans un programme tel 1fichierfs sans afficher des performance déplorable comme par exemple relire tous les répertoires systématiquement depuis le serveur !

Même la relecture systématique des répertoires depuis le serveur ne serait de toute façon pas totalement absolue, pour des questions de non-atomicité.

Dernière modification par Zakhar (Le 05/05/2022, à 13:17)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#411 Le 07/05/2022, à 11:12

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

NOLAK a écrit :

Comment je fais pour te contacter en privé, je ne trouve pas les mp sur ce forum ?

C'est expliqué ici https://forum.ubuntu-fr.org/viewtopic.php?id=2069333

Mais effectivement, pour éviter les robots à spam, il faut totaliser au minimum 50 posts. cool


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#412 Le 08/05/2022, à 20:56

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

(8 mai 2022) Version 1.9.1

Nouveautés par rapport à la 1.9.0

  • Nouveau : package pour Jammy (22.04 LTS).

  • Fix crash : dans certains enchaînements de lecture, un crash se produisait.

  • Fix bug: écrasement mémoire possible avec les statistiques activées.

Correction de bugs
Si vous avez installé la 1.9.0, il est prudent de faire la mise à jour. Même si vous n'utilisez pas les statistiques, le premier bug pourrait vous affecter

Raspberry Pi OS -ex Raspbian- (Raspbian Buster 32 bits)1fichierfs_1.9.1~buster-1_armhf.deb

$ stat -c "%s %n" 1fichierfs_1.9.1~buster-1_armhf.deb; sha256sum 1fichierfs_1.9.1~buster-1_armhf.deb; md5sum 1fichierfs_1.9.1~buster-1_armhf.deb
95924 1fichierfs_1.9.1~buster-1_armhf.deb
0421404eed23878d72e115e1ff61ae528ba98e78e29bd287b5e785c8712a8446  1fichierfs_1.9.1~buster-1_armhf.deb
027f73dcd9d3007206c5b8c83f07ce25  1fichierfs_1.9.1~buster-1_armhf.deb

Dernière modification par Zakhar (Le 08/05/2022, à 21:30)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne