Contenu | Rechercher | Menus

Annonce

DVD, clés USB et t-shirts Ubuntu-fr disponibles sur la boutique En Vente Libre

Si vous avez des soucis pour rester connecté, déconnectez-vous puis reconnectez-vous depuis ce lien en cochant la case
Me connecter automatiquement lors de mes prochaines visites.

À propos de l'équipe du forum.

#326 Le 26/04/2021, à 22:21

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Condamné en correctionnel, l'hebergeur 1fichier va faire appel.

Bon, en tout cas j'espère que ça ne va pas nous tuer notre excellent service de sauvegarde en ligne à un prix imbattable !..

Au moins 1fichierfs montre que ce genre de service est un outil. Comme toujours, ce n'est pas l'outil lui-même qui est illégal, mais l'usage que certains en font.

Comme le disent aussi les commentaires de l'article, il ne serait pas étonnant que tous les services de stockage en ligne, y compris ceux ayant pignon sur rue, hébergent plus ou moins de "fichiers partagés". roll

Dernière modification par Zakhar (Le 26/04/2021, à 22:24)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#327 Le 27/04/2021, à 00:17

lynn

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Ben ça alors c'est surprenant ; des fichiers partagés illégalement sur 1fichier.com... qui l'eût cru ! tongue


«C'est pas parce qu'ils sont nombreux à avoir tort qu'ils ont raison!»

Coluche

Hors ligne

#328 Le 27/04/2021, à 16:25

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Je suis sûr qu'il y en a plein aussi qui sont partagés avec GDrive ou Onedrive, mais personne ne s'en émeut.

Il est bien parti le Cloud Européen avec les "z'ayant-droit-plein-de-soupe-mais-qui-en-veulent-toujours-plus" qui vont le détruire avant qu'il naisse. Pauvre Europe !..

Dernière modification par Zakhar (Le 27/04/2021, à 16:26)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#329 Le 17/05/2021, à 19:02

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Brèves nouvelles.

Le "nouveau moteur de lecture" a bien avancé, il est déjà bien fonctionnel sur mes tests personnels.

Avantages : il ne nécessite pas de "threads séparés" pour la lecture, et il n'y a donc plus de limites à "4 threads de lecture" qui pouvaient donner des performances dégradées en cas de lectures en parallèle de beaucoup de fichiers. La limite à 4 "streams de lecture" est désormais par fichier, et se fait sans besoin de "threads séparés". Au final ça devrait prendre moins de ressources et donc être dans certains cas plus performant.

Inconvénients : c'est encore pour le moment "en travaux", même si ça marche déjà fort bien. Certaines choses ne sont pas encore ré-implémentées, notamment les statistiques qui vont changer assez radicalement.

Pour tester, pour les téméraires, ou si vous avez besoin de la fonctionnalité "beaucoup de lectures en parallèle", vous pouvez compiler directement depuis le Gitlab à partir de la branche "new_read_engine".

Evolutions : l'écriture suivra ensuite le même procédé (c'est plus simple en réalité pour l'écriture qui est moins "parallélisée") et la limite de 4 fichiers écrits en parallèle sera levée. J'ai commencé par la lecture, car si d'ici que je m'attaque à l'écriture, la Team 1fichier a mis son nouveau système envisagé (http pour les abonnés en écriture), je ferai d'une pierre deux coups.

Notez que la levée des limitations locales ne permet pas d'aller au delà des limites imposées par le service 1fichier.com (qui sont autour de 50 flux par IP en lecture... mais que je n'ai jamais atteintes !), et non plus, cela ne lève pas la limitation de la bande passante de votre connexion à internet ! big_smile

Dernière modification par Zakhar (Le 17/05/2021, à 19:04)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne

#330 Le 03/06/2021, à 22:09

Zakhar

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

La mise au point de "nouveau moteur" de lecture m'a fait rendre compte que 1fichierfs est sous-optimisé pour des commandes de base comme cp (la copie simple).

Cette commande étant probablement une des plus ancienne de Unix-GNU/Linux, elle fait un truc qui est sans doute devenu totalement inutile avec les kernels moderne : de la copie "en parallèle" sur deux threads. Couplé avec le "read-ahead" du kernel, cela veut dire qu'on peut se retrouver à avoir 4 requêtes en cours sur un même "stream"... mais surtout que ces 4 requêtes peuvent arriver dans un désordre quelconque : les joies du parallélisme !
Or si j'avais bien prévu la gestion du "read-ahead" avec 2 requêtes inversées, ça ne va pas jusqu'à 4 !..

Cela se voit actuellement si vous faites un simple "cp" sur un gros fichier (par exemple pour récupérer sur vos disque locaux une "sauvegarde"), vous allez voir, en affichant les statistiques, que la lecture se fait bien séquentiellement, mais que de temps en temps, vous avez "de petits blocs" qui sont lus isolément. Résultat : pas totalement "optimisé" !..

Je travaille sur le "nouveau moteur" à gommer ça.

En attendant, au lieu d'utiliser "cp", je vous recommande l'excellent pv qui a aussi l'avantage de vous afficher une belle jauge de progression du transfert : avancement, vitesse, temps restant estimé...

La copie "à la souris", via "Nautilus" ne semble pas poser le même problème et se fait correctement.

Je testerai aussi le comportement face à rsync, qui est un outil "classique".

Enfin, toutes ces optimisations vont donner du sens à rajouter dans le "moteur" la lecture "splice" qui est sensée alléger la charge CPU et donc à défaut d'aller plus vite (c'est sans doute limité par votre fibre/ADSL ou CPU pour les flux chiffrés), consommera moins de ressources... donc quand même meilleures performance en cas de machine très chargée.

Je "benchmark" aussi avec une version de transfert "sans curl", parce que curl se comporte de façon qui me semble vraiment peu optimale quand on utilise les "pauses", ce que fait le nouvel algorithme. Je verrai si ça fait une différence visible, au moins en CPU, quand tout sera au point et donc vraiment comparable.

Encore un peu de patience donc pour les "améliorations". big_smile

Dernière modification par Zakhar (Le 03/06/2021, à 22:12)


"A computer is like air conditioning: it becomes useless when you open windows." (Linus Torvald)

Hors ligne