[1fichier] "Montez" votre stockage 1fichier en une commande simple !

z3ndra · Le 16/07/2023, à 11:58

voilà je viens de réinstaller 1fichierfs de 0 en purgeant le repo etc et tout refonctionne ! du coup je pense que c'est peut être que ma version était trop vieille et devenait obsolète avec 1fichier. ça m'apprendra à ne pas faire les mises à jour lol en tout cas merci beaucoup à toi pour ton aide .

p.s : Sinon tu sais comment je pourrais faire pour que le dossier se mettent à jour automatiquement à chaque rajout de contenus ? plutôt que de le faire manuellement. Parce que aujourd'hui de dois a chaque fois actualiser l'autorisation pour que les nouveaux contenus s'actualisent. merci d 'avance

Dernière modification par z3ndra (Le 16/07/2023, à 12:03)

Zakhar · Le 16/07/2023, à 23:05

Ravi que ça remarche. Effectivement 1fichier.com a changé le fonctionnement de certaines API et il est possible que d'anciennes versions de 1fichierfs soient devenues obsolètes.

Bien sûr, cependant on ne peut pas accéder aux répertoires distants "à chaque fois" sinon à la fois ça serait peu performant et surtout pourrait être vu comme du spam et potentiellement un bannissement.

Il y a deux options, voir l'aide ou le man

$ 1fichierfs -h
(...)
    --refresh-file=filename
    --refresh-hidden
    --refresh-time=M  These parameters control how the directory tree
                      is refreshed from the server.
                      By default, no refresh is done.
                      refresh-file shows an empty file on the root of the
                      mount. Opening, this file triggers a refresh.
                      If refresh-hidden is specified, the file will no be
                      shown. Trying to open it will return 'no such file'
                      but will still trigger a refresh.
                      refresh-time specifies a timer in minutes after which
                      a refresh will be done.

man 1fichierfs
(...)
       --refresh-file=nom_du_fichier

       --refresh-hidden

       --refresh-time=M
              Ces paramètres contrôlent comment l'arborescence complète est rafraîchie depuis le serveur.

              Indépendamment de ces trois options, après une opération d'écriture les répertoires concernés (destinations de renommage ou lien dur, ...) sont toujours rafraîchis. Un rafraîchissement global
              est fait systématiquement si un fichier qui était sensé être présent a été effacé (HTTP 404). Cela peut survenir si le fichier a été effacé depuis l'interface web pendant que 1fichierfs fonc‐
              tionnait.

              Si  la  lecture d'un fichier retourne une errer, les ouvertures suivantes du même fichier échoueront avec 'accès refusé' jusqu'à ce qu'un rafraîchissement soit fait (sur n'importe quel réper‐
              toire). Après ce rafraîchissement, l'utilisateur peut essayer à nouveau de lire le fichier.

              --refresh-file affiche un fichier vide à la racine du point_de_montage.
              Ouvrir ce fichier déclenche le rafraîchissement.
              Si nom_du_fichier est masqué par un fichier ou un répertoire existant portant le même nom à la racine du compte 1fichier.com, un avertissement est envoyé, et l'option --refresh-file est igno‐
              rée aussi longtemps que le fichier ou répertoire qui masque nom_du_fichier n'est pas supprimé ou renommé.

              Avec --refresh-hidden, le fichier spécifié par l'option --refresh-file ne sera pas affiché.
              Essayer de l'ouvrir retournera 'fichier inexistant' mais déclenchera également le rafraîchissement.
              Cette option est mieux adaptée à un rafraîchissement via la ligne de commande.

              Sauf s'il est masqué, le --refresh-file, qu'il soit caché (--refresh-hidden) ou pas, est protégé contre la suppression, le lien, le renommage et l'écrasement en tant que destination d'un lien
              ou renommage. De telles opérations retourneront : accès refusé.

              --refresh-time  spécifie un temps M, en minutes, après lequel les entrées de répertoires en cache seront oubliées. Une valeur de 0 signifie pas de --refresh-time.

Personnellement j'ai un "refresh-file", il suffit de l'appeler refresh.txt ou un truc du genre, et via le gestionnaire de fichier on peut simplement l'ouvrir, ça va appeler l'éditeur, puis refermer, et le rafraîchissement est fait.
Idem j'ai un refresh-time à 20 minutes.

On peut mettre 1 minute pour ton besoin de voir "rapidement" les fichiers qui ont été uploadés.
Cependant si tu regardes par exemple avec le gestionnaire de fichiers par défaut, tu ne verras aucun nouveau fichier, il faut également rafraîchir par F5, car le gestionnaire de fichiers a également sa propre "cache" de fichiers pour éviter de relire sans cesse les répertoires !

Dernière modification par Zakhar (Le 16/07/2023, à 23:09)

z3ndra · Le 17/07/2023, à 22:51

salut

alors figure toi que je viens de découvrir la vrai raison du pourquoi ça m'a fait ça . en faite maintenant ça decompte des crédit de cdn quand je consulte un fichier etant donné que j'utilise un serveur dédié. je suis assez furax contre 1fichier qui a décidé de mettre ça en place sans dénier prévenir qui que ce soit. sans compté que je l'utilise a titre perso, c'est juste plus pratique pour moi. va falloir que je trouve une nouvelle solution alternative car leur solution devient obsolète pour de la sauvegarde a distance. ou bien il faut que je monte mon dossier 1fichier sur une machine perso que je renvois en ftp vers mon serveur, le non sens ^^

Zakhar · Le 17/07/2023, à 22:55

Oui, si tu regardes une discussion précédente, ils semblent effectivement faire cela quand on utilise un "serveur dédié".

Comme c'est sans doute basé sur une reconnaissance des IP, la "solution" à essayer c'est l'IPV6 que tu peux forcer avec l'option -6 ou --ipv6 en option longue ou pour le /etc/fstab
Cela sous-entend que ton fournisseur de serveur sait faire de l'IPV6... mais en principe cela devrait être le cas de tout le monde !

Bon courage !

Dernière modification par Zakhar (Le 17/07/2023, à 22:56)

z3ndra · Le 05/11/2023, à 23:50

Bonjour

Je me permet de revenir ici, car aujourd’hui j’ai un autre souci, je ne sais pas si ça arrive à d’autre, mais depuis peu j’ai constaté une vitesse de dl vraiment ralenti, ça pose problème pour du streaming car la mémoire tampon a du mal . Je ne sais pas d’où ça pourrait provenir car je n’ai rien changé depuis. J’utilise un déclencheur pour rafraîchir les contenus . Est ce qu’il y aurait une nouvelle mise à jour par hasard de 1fichierfs ? Merci d’avance ?

Zakhar · Le 06/11/2023, à 08:54

Bonjour z3ndra,

Quand cela arrive, il faut que tu compares à la vitesse de téléchargement "native", c'est à dire en téléchargeant le même fichier depuis l'interface web standard de 1fichier.com

Tu vas sans doute constater que le ralentissement est aussi présent en "téléchargement standard" (c'est à dire via ton navigateur).

Si tu es en ethernet avec ta box, vérifie aussi la vitesse. Le fil mal enfoncé peut te faire descendre à 100mb/s au lieu de 1000.

$ ethtool enp4s0
Settings for enp4s0:
(...)
	Speed: 1000Mb/s
	Duplex: Full

Ce qui a changé récemment, si tu suis l'actualité... c'est la fin de uptobox !
Sans doute que beaucoup de clients se sont tournés vers 1fichier.com
Effectivement, le temps de stockage par exemple s'est allongé, on le voit entre le moment où on dépose un fichier, et le moment où il devient disponible. Sans doute tout cela est causé par davantage de trafic chez 1fichier.com

De mon côté, ça marche toujours bien, voici les stats ce jour :

$  cat ~/1fichier/.stats
Uptime: 07:48:32

Readers:
    Files    Streams  Start streams             Fuse requests
   Cur/Tot.  Cur/Tot. AvgTim MaxTim Down. N.Req AvgTim MaxTim Speed Av.Sp Over.
02: 0     6   0     8 .54303 1.4197 18.8G  151K .00234 .24621     0 79.8M  256K
03: 0     3   0     5 .62560 1.0722 18.8G  151K .00251 .63584     0 74.8M 1236K
04: 0     1   0     1 .24000 .24000    49     1 .00004 .00004     0   128     0
05: 0     1   0     1 .33847 .33847  112K     3 .03187 .04963     0  179K     0
-------------------------------------------------------------------------------
Tt  0    11   0    15 .53671 1.4197 37.6G  302K .00242 .63584     0 96.5M 1492K

On voit la vitesse moyenne à 96,5Mo/s, donc quasiment le max de la fibre.

Par contre hier je regardais un film 4K en streaming, et je n'avais pas pris garde, le lien ethernet était à 100Mbps, effectivement ça coince par moments !

Dernière modification par Zakhar (Le 06/11/2023, à 16:35)

Zakhar · Le 12/11/2023, à 11:25

A titre d'illustration z3ndra, lorsque j'upload des fichiers, je fais toujours une vérification.

Voici ce que j'obtiens, un dimanche matin à 10h20, donc a priori une "heure creuse" pour le trafic internet, lors de la vérification :

$ pv undisclosed_filename | diff -s - ~/Secure/path/undisclosed_filename
2,71GiO 0:06:54 [8,87MiB/s] [===================>                                    ] 29% ETA 0:16:35

Je viens de faire le test de télécharger exactement le même fichier avec firefox, le download se fait à une vitesse autour de 2MB/s, donc encore moins vite que le test ci-dessus.

Avec deux autres fichiers que j'ai mis en ligne ce même matin, je n'ai pas eu ce problème de lenteur. On voit donc que selon où le fichier a été stocké chez 1fichier.com, il peut y avoir des ralentissements. En effet, comme tu peux l'imaginer, 1fichier.com n'a pas un seul ordinateur où tout est stocké, mais les fichiers sont sauvegardés sur des serveurs différents, avec un algorithme qui regarde 1fichier.com, mais pour nous ça ressemble au hasard !.. Certains serveurs de 1fichier.com peuvent être temporairement plus lents/surchargés.

Les ralentissement sont donc indépendants de 1fichierfs, puisqu'on observe exactement les mêmes ralentissements avec l'outil standard, c'est à dire en cliquant sur "accéder au téléchargement" depuis son navigateur.

Dernière modification par Zakhar (Le 12/11/2023, à 11:32)

Zakhar · Le 11/12/2023, à 22:16

Bonjour, je suis toujours là, 1fichier.com aussi... pour le moment !

Il semble y avoir deux bugs rares :
- un cas où le driver se met à consommer ~160% de CPU, sans doute un bug de parallélisme du "moteur" qui s'emballe avec des requêtes qui tournent en rond entre threads
- un cas où le driver se bloque sur un fichier donné, sans doute un time-out non géré au démarrage d'un flux

Ces bugs sont cependant fort rares, et je n'ai pas trouvé de moyen fiable des les reproduire. Il faut alors "tuer" le driver (kill -9) faire un démontage (fusermount -u) puis remonter.

Pour arriver à choper les bugs, si vous avez une façon de reproduire de façon fiable, n'hésitez pas à la signaler.
Sinon cela va passer par une amélioration du protocole de debug, aujourd'hui, comme il est très verbeux en niveau maximal, cela remplit très vite des giga et ne permet pas de le faire tourner en permanence.
Il faut donc créer un process de debug en tâche de fond, et sans doute un mode "circulaire" pour éviter une taille trop grande.
Cela me permettra de laisser tourner le debug en permanence pour espérer voir le bug se manifester un jour et avoir une piste.

Il y a aussi quelques anomalies mineures signalées par les dernières versions de GCC. Elles ne sont a priori pas grave, tout au plus cela peut provoquer un affichage décalé dans les statistiques.

En ce moment j'ai beaucoup de choses à gérer, donc les modifications vont attendre un peu !

Zakhar · Le 03/01/2024, à 21:21

Bonne année 2024 à tous !

J'ai identifié le bug qui provoque parfois des blocages (CPU à 150%), je vais y apporter une correction rapidement.
Il se manifeste principalement si vous ouvrez un fichier, le refermez, puis avec un bon "timing" (dans la minute, mais c'est un peu aléatoire), vous ouvrez à nouveau le même fichier.

J'en ai profité aussi pour corriger les bugs/warnings relevés par GCC12 et traité les parties obsolètes de curl (NPN) sur les O.S. plus récents.

J'ai rajouté également une fonctionnalité pour limiter la taille du fichier journal. C'est bien utile car en "debug" ça crache pas mal de lignes et ça remplit vite mes partitions /tmp en RAM, et ensuite la journalisation est perdue !

Donc à bientôt pour une nouvelle version avec des corrections.

Sinon sur le front des prix, les choses évoluent un peu.
Au profit de la disparition de Uptobox, 1fichier.com a augmenté ses prix à 30€ annuel, et en parallèle on a un nouveau venu qui nous fait du 2To à 60€ à l'année : kDrive. La fourchette de prix devient donc plus petite désormais...
kDrive vient avec toute une panoplie de logiciels... contrairement à 1fichier qui n'a d'officiel que l'interface web... et en "officieux" des bons logiciels tels que rclone, ou 1fichierfs bien sûr.

Regu · Le 10/04/2024, à 15:14

Bonjour à tous,

Tout d'abord, merci pour ce projet Zakhar, il m'a été d'une grande aide !!!

J'aurais une question concernant les crédits CDN et leur utilisation.
J'utilise 1fichierfs et Jellyfin pour visionner mes vidéos. Tout fonctionne super bien, sauf depuis que mes crédits CDN sont tombés à 0.

1fichierfs /media/1fichier fuse ro,uid=1000,gid=1000,umask=0377,user,allow_other,noauto,api-key=xxxxxxxxxxxx,_netdev,log-level=7,log-file=/tmp/debug.txt 0 0

[1fichierfs   611.856] INFO: <<< API(in) (iReq:8) download/get_token.cgi POST={"url":"https://1fichier.com/?xxxxxxxxxxxxxxxx","single":0,"no_ssl":0} name=https://1fichier.com/?xxxxxxxxxxxxxxxx
[1fichierfs   612.040] ERROR: hCode 403 on get_token json resp.:`{"status":"KO","message":"Must have CDN #813"}` for https://1fichier.com/?xxxxxxxxxxxxxxxx

Par défaut, 1fichierfs utilise-t-il les crédits CDN plutôt que le compte premium pour télécharger un fichier sur un serveur local ?
Si oui, existe-t-il une option pour désactiver l'utilisation des crédits CDN ? Dans le cas contraire, ce n'est pas bien grave (il suffira d'acheter des crédits supplémentaires ^^)

Merci d'avance

Zakhar · Le 10/04/2024, à 18:24

Bonsoir Regu,

Il semble que 1fichier.com décompte des CDN à partir du moment où le téléchargement se fait depuis un serveur (détection par IP ?).

Si tu utilises tes propres équipements "familiaux" derrière une box, tout se passe "normalement" sans consommation de CDN.

Ce mécanisme est vraisemblablement fait pour éviter les abus, c'est à dire des gens qui profitent de l'aubaine du téléchargement "pas cher" pour re-partager des fichiers. Le modèle économique ne serait alors pas équilibré, et obligerait 1fichier.com à augmenter se tarifs pour tout le monde... et on se retrouverait aux même prix qu'ailleurs (pCloud par ex.).

Regarde les posts plus haut et ce que je suggère si ça aide, mais cela semble un mécanisme "normal" même s'il est peu documenter.

Je vais tâcher de mettre une "détection d'usage des CDN" et forcer l'arrêt du driver dans ce cas, avec l'option pour accepter l'usage des CDN. Ce ne sera pas dans la 1.9.5 qui est en préparation (quand j'ai le temps !).

Dernière modification par Zakhar (Le 10/04/2024, à 18:25)

z3ndra · Le 18/06/2024, à 19:19

salut

ah cool si tu as trouvé d'où venait le bug, car j'ai aussi remarqué ça souvent, le volume devient inaccessible et j'ai remarqué que c'est justement après plusieurs sollicitations régulières, par exemple j'ai due rescanner ma bibliothèque avec emby et le volume a planté 3 fois pendant le scanne, le volume indiquant qu'il y a un problème avec le noeud de montage donc obligé de démonter le volume et le remonter. Après pour le cdn est ce que c'est bien utile cette option ? car de toute facon si on utilise fichierfs sur un serveur ou une ip d'un vpn bah ça decompte du cdn et si on a une ip publique ça ne décompte pas, faut juste en être conscient lol après 1 fichier propose une bonne offre pour du stockage quasiment illimitée. en tout cas merci pour tes suivi car c'est une perle 1fichierfs

Zakhar · Le 18/06/2024, à 20:57

Oui Z3ndra, j'ai trouvé le bug, j'ai l'algorithme "théorique" qui fonctionne, mais j'ai créé un autre bug au passage. Je pense savoir d'où ça vient mais je n'ai pas encore eu le temps de m'y mettre. Un certain président a reculé l'âge de la retraite brutalement -sa marque de fabrique d'être "brutal"- qui était toute proche pour moi, ce qui a multiplié par 2 mon temps restant à faire... grrrr... donc je n'ai pas encore tout le temps que je voudrais pour tout faire !

Les autres options ça sera pour plus tard, pour l'instant je vais essayer de corriger tous les bugs que je vois !

1fichier.com propose aussi maintenant une offre au dessus de "Premium" qui inclut aussi les VPN et permet d'avoir 4To de "Cold". Elle fait gagner aussi davantage de CDN mensuels. Je ne comprends pas bien l'intérêt d'un VPN pour accéder à 1fichier. OK ça cache ce qu'on fait chez 1fichier à son fournisseur d'accès internet, mais on ne fait que déplacer la confiance vers le fournisseur de VPN qui lui voit tout en clair. Et les fournisseurs de VPN ne sont pas au dessus des lois, c'est juste qu'effectivement ce ne sont pas les lois françaises.

Aussi un VPN rajoute beaucoup d'overhead réseau.

Pour les utilisateurs de 1fichierfs, il est bien mieux de faire ce que je fais personnellement : empiler encfs (ou GoCryptFS comme a choisi un collègue) par dessus 1fichierfs.
Ainsi tout ce qu'on stocke est chiffré, les fichiers ont aussi des noms chiffrés. Là, même 1fichier.com ne voit rien, on ne voit que des fichiers avec des noms bizarres contenant des octets sans signification.
Le fournisseur internet ne voit rien non plus dans le transit.
Seul le PC local avec la clé de déchiffrement encfs (ou GoCryptFS) voit les fichiers en clair.

Donc pour la nouvelle offre, en dehors du Cold à 4To, je ne la trouve pas très utile pour mon usage. Peut-être que cette offre ne décompte plus les CDN sur un serveur... allez savoir !..
Je n'ai pas non plus compris comment le prix était calculé !..

Dernière modification par Zakhar (Le 18/06/2024, à 21:01)

z3ndra · Le 18/06/2024, à 21:15

ah oui en effet j'avais pas vu ce nouveau plan. En effet je ne vois pas non plus l'interet d'un vpn mais je sais qu'ils etaient considéré comme des ip pro , j'avais oublié de le désactivé a titre perso et j'avais vu leur message s'afficher mdrrr

C'est interessant ton utilisation de encfs, si tu aurais un moment pour faire un rapide tuto pour mettre ça en place, ça serait hyper interessant. après est ce que ça ne pose pas un probleme avec des soft comme emby, flex etc ? car ils ont besoin du nom en clair pour retrouver le fichier . ou bien ça se passe avant ?

Zakhar · Le 18/06/2024, à 23:44

C'est totalement transparent (enfin ça fait plus de CPU tout de même !). J'utilise Kodi par dessus encfs + 1fichierfs.
Voire même tu peux aussi faire un montage d'un iso qui est sur encfs + 1fichiefs et tu as alors 3 couches avec l'ISO, vive Linux, tout marche nickel !

Le principe de encfs (ou Gocryptfs) est que tu as un duo répertoire en clair <> répertoire chiffré.

Donc sur ton montage 1fichierfs tu crées un répertoire par exemple .crypt.
Tu "mappes" ~/1fichier/.crypt sur un répertoire à toi, par exemple ~/Secure.

Ainsi quand tu vas écrire dans ~/Secure (et ses sous-répertoire), ça va de façon transparente chiffrer et écrire dans ~/1fichier/.crypt
A l'inverse quand tu lis dans ~/Secure (et sous-répertoire), ça va lire dans ~/1fichier/.crypt et déchiffrer à la volée.

Donc ton emby, plex, kodi, vlc, rsync (pour tes sauvegardes) lit et écrit toujours dans ~/Secure, et là les noms de fichiers sont en clair et les fichiers sont en clair.

Ce qui est stocké chez 1fichier, ou ce qui transite est donc totalement chiffré. Le seul moment où tu as des choses en clair c'est quand tu lis dans ~/Secure, mais ce n'est jamais écrit sur aucun disque, c'est juste passé à des programmes qui ont besoin de lire des données (après si l'application qui lit la donnée ré-écrit ailleurs sur un disque, ça c'est le problème de l'application !).

En fait le contenu de ~/Secure est totalement virtuel, c'est encfs qui te le calcule à partir du répertoire mappé ~/1fichier/.crypt

Il y a alors même une option pour regagner un peu du temps perdu dans le chiffrement, c'est de te permettre de lire tout ce qui stocké chez 1fichier.com dans ton répertoire .crypt en http (en clair) sans le "s" du https. Tu évites ainsi une couche de chiffrement (TLS). Les informations supplémentaires que tu donnes à un adversaire sont acceptables, c'est juste le nom des fichiers que tu veux lire/écrire, mais comme le nom des fichiers est chiffré, ça ne donne pas d'indication grave. Le flux qui transite est du flux déjà chiffré (par encfs) donc on peut aussi se passer du https :

1fichierfs --api-key=@mykey --no-ssl=/.crypt ~/1fichier

Voila en qq lignes donc !

Après ça veut dire que tu "ré-upload" tout ce que tu as sur ton stockage pour que ce soit chiffré. Ca prend un peu de temps... mais à la fin tu as un truc plus sécurisé.
Aussi c'est moins sympa pour 1fichier.com, mais ils le permettent visiblement.
Le fait de faire un prix aussi bas c'est parce qu'ils ont un taux de déduplication de fous puisque c'est essentiellement du partage.

Donc un fichier de 10Go qui est "partagé" par 100 utilisateurs, ça coûte 10,001Go puisque le premier a fait le stockage et les autres ont juste un lien de quelques kilo octets vers le fichier.

Quand tu fais un chiffrement, au contraire, le fichier devient unique à toi. Donc si 100 utilisateurs prennent le fichier et le sauvegardent en chiffrement, chacun ayant une clé différente on aura bien 100 x 10Go soit 1To de stockage avec un taux de déduplication nul (x1, c'est à dire pas de déduplication).

Mais bon, peu de gens vont faire ça, donc je suis confiant que le modèle économique de 1fichier.com va continuer.

Dernière modification par Zakhar (Le 18/06/2024, à 23:48)

z3ndra · Le 21/07/2024, à 10:49

bonjour

depuis aujourd'hui j'ai un probleme, il m'est impossible de monter mon volume, c'est comme si l'api ne fonctionnait plus, en tout cas ça me fait la même chose que quand j'oublie de renouveler mon compte premium pour accéder à l'api. y a t'il une solution ?

merci d'avance

Zakhar · Le 21/07/2024, à 23:27

Bonjour z3ndra, 1fichierfs ne fonctionne effectivement que si tu es abonné Premium car c'est une condition nécessaire pour que les APIs soient accessibles. Il n'y a pas de "solution de contournement" si tu n'es plus premium !.. De toute façon le téléchargement étant lent et bridé pour les non-premium, ça n'aurait pas trop d'intérêt.

Si tu es bien Premium, c'est qu'il y a un problème quelconque, et je ne peux t'aider qu'avec une "log" (journal).
Il faut donc faire le montage avec les options (par exemple)

--log-level 7 --log-file=/tmp/debug.txt

Si le contenu du fichier journal ne te semble pas clairement indiquer l'erreur, tu peux me donner le résultat qui se trouve dans le fichier indiqué, en l'occurrence /tmp/debug.txt dans l'exemple au dessus, plutôt en message privé (ou occulter les données "personnelles").
Si "ça ne se monte pas", le fichier journal devrait être très court. En effet, la première chose que fait le driver est d'essayer de monter la racine du compte, si ça ne fonctionne pas, il abandonne sans montage.

De mon côté, cela fonctionne parfaitement !

Dernière modification par Zakhar (Le 21/07/2024, à 23:29)

z3ndra · Le 21/07/2024, à 23:58

Merci pour ta réponse, du coup j’ai trouvé la cause du problème enfin je pense savoir lol en faite j’ai rajouté « insecure 0 0 » a la fin de mon fstab et tout est revenu entierement d’un coup . Du coup ca veut dire que c’est un souci de certificat ssl qui bloquerait le montage via l’api non ?

Zakhar · Le 22/07/2024, à 08:34

Bravo, oui, c'est bien possible.
En fait ça dépend des autorités de certifications auxquelles ta machine fait confiance par rapport au certificat utilisé par 1fichier.com
"insecure" ne va pas supprimer le chiffrement (fort heureusement !) cela va juste sauter la vérification de l'émetteur du certificat. C'est donc "insecure" au sens où si tu es victime d'une attaque "man in the middle" (quelqu'un qui s'intercalerait entre 1fichier.com et toi) tu vas gentiment l'accepter !

Si tu veux revenir en mode "secure", tu peux extraire le certificat utilisé par 1fichier.com et le forcer pour 1fichierfs.
Voici l'option :

--cacert=/home/zakhar/1fichier_ca.pem

En ayant bien sûr extrait le certificat utilité par 1fichier.com et sauvegardé sur /home/zakhar/1fichier_ca.pem

Je te laisse regarder en ligne comment on extrait un certificat !

Dernière modification par Zakhar (Le 22/07/2024, à 08:36)

b1m2n3 · Le 24/07/2024, à 23:31

Bonjour.

Tout d'abord, merci pour ce topic bien intéressant ; j'ai appris des choses, tant les explications y sont claires !

Concernant la forte contrainte apparue plutôt récemment de l'utilisation du crédit CDN lors de l'utilisation de l'API de 1fichier : y a t-il moyen d'empêcher cela ? Il a été question d'IPv6 comme solution potentielle en page précédente... Des retours à ce sujet ?
Pour ceux qui sont chez OVH par exemple, je sais que c'est possible d'office, dès les VPS premiers prix.

Aussi, je suis intéressé par une petite mise au point sur les limites de 1fichierfs en matière d'écriture ? Au tout départ du projet 1fichierfs, j'ai cru comprendre qu'il n'était question que de lecture, puis que l'écriture a aussi été intégrée par la suite, mais toujours avec "limitation sur l'écriture aléatoire (overwrite)". Hors, si je ne me trompe pas, il me semble que l'écriture aléatoire est une chose, l'overwrite (qui peut être en séquentiel ?) en est une autre. Je ne suis pas expert sur la question, mais je cherche à déterminer quelles pourraient êtres concrètement les limitations pratiques...

Exemple : dans mon cas, j'avais projeté - dans un fort idéal - y faire pointer (avec ou sans stockage local intermédiaire) un gestionnaire de téléchargement, avec si nécessaire désarchivage dans la foulée (car ce dernier point, j'ai pu lire que c'était bien possible). Dans ce scénario, il ne s'agirait à priori que de transferts séquentiels ininterrompus. Ainsi, dans l'idée, avec un VPS très basique + un file-hoster tel que 1fichier (bien sur), il deviendrait alors possible pour moins de 3€/mois (oui, oui !) d'expérimenter pas mal de choses (pour déterminer par la pratique de quoi/combien j'ai vraiment besoin). Je me fais peut être un film, mais techniquement, ça me semblait jouable et j'ose imaginer mettre ça en place (ne serait-ce que pour le fun). J'imagine que ça serait dans tous les cas être assez sensible/capricieux, qui plus est avec les perfs de plus en plus réduites et aléatoires de 1fichier (de ce que je lis un peu partout)... ?

Et quid du s3fs & co sinon ? J'imagine qu'il y aurait encore plus de contraintes ?

Merci par avance pour vos réponses

Dernière modification par b1m2n3 (Le 24/07/2024, à 23:38)

Zakhar · Le 31/07/2024, à 15:27

b1m2n3 a écrit :

Tout d'abord, merci pour ce topic bien intéressant ; j'ai appris des choses, tant les explications y sont claires !

Merci, et merci aussi pour votre intérêt pour 1fichierfs ! Désolé pour la réponse tardive (vacances !).

b1m2n3 a écrit :

Concernant la forte contrainte apparue plutôt récemment de l'utilisation du crédit CDN lors de l'utilisation de l'API de 1fichier : y a t-il moyen d'empêcher cela ? Il a été question d'IPv6 comme solution potentielle en page précédente... Des retours à ce sujet ?
Pour ceux qui sont chez OVH par exemple, je sais que c'est possible d'office, dès les VPS premiers prix.

Non. Cette contrainte a sans doute été mise en place pour limiter les abus. En effet, le modèle économique de 1fichier repose à la fois sur le "partage" et sur un usage "domestique". Sans cela, il leur serait impossible de faire les prix actuels qui sont 50% moins chers que les "prix de marché" (voir premier post où je fais une "mini étude de marché"), et encore hors promotions en cours.

Egalement, les prix du stockage sur des serveurs en ligne (VPS ou mieux) sont aussi sans commune mesure avec un abonnement 1fichier. Aussi, utiliser ses "téra" 1fichier.com pour faire du "plex" (vous voyez ce que je veux dire... genre revendre le "service" à d'autres) ne serait pas très "fair use" par rapport au modèle économique actuel. L'infra de 1fichier.com est bien du partagé !
La parade a donc été pour eux de déclencher l'usage des CDN lorsqu'un usage "sur un serveur" est détecté.

L'histoire de l'IPV6, je n'en ai jamais eu confirmation auprès de ceux à qui j'ai donné le conseil. C'est juste une supposition de ma part. En effet, comment reconnaît-on que le trafic provient d'un "PC domestique" ou d'une "machine hébergé en ligne" ? Que l'on utilise le navigateur ou 1fichierfs (ou rclone), il n'y a pas de différence d'un point de vue serveur sauf l'adresse IP et potentiellement le "peering". Mais en général les "filtres" de ce genre reposent sur l'IPV4 parce la nature de l'IPV6 est différente et très variable. C'était donc juste une supposition (non confirmée) de ma part.
A vous d'essayer éventuellement... mais voyez bien que si trop de gens "contournent le modèle", 1fichier.com va réagir et filtrer sans doute aussi l'IPV6.

Pensez que je ne suis pas du tout affilié à 1fichier.com, je suis un simple client premium qui a écrit un "driver", en premier pour mon usage, et en open source pour qui veut l'utiliser.
1fichier.com n'offre aucune garantie sur mon driver, pas plus que sur rclone qui est une autre solution. Le seul moyen "supporté" par 1fichier.com est le navigateur, ou l'usage de l'API (curl par exemple).

Ce qu'il se passe côté serveur n'est pas (ou peu) documenté, de la sorte 1fichier.com peut changer quand il le veut sans préavis.
Les limitations que j'ai vues peuvent être constatées par n'importe qui d'un point de vue "client". Par exemple il y a une limite autour de 50 téléchargements en parallèle, et une limite des "tickets" de téléchargement. Ces limites là n'étant pas documentées, 1fichier.com est susceptible de les modifier à tout moment, notamment pour gérer les abus de certains... au détriment de ceux qui n'abusent pas !
Certaines limites sont documentées, par exemple on ne peut pas stocker un fichier de plus 300Go... mais la documentation peut également changer à tout moment... 1fichier.com donnera sans doute un préavis si cela doit être modifié.

Pour certaines limites, 1fichierfs dispose de moyens de secours en se comportant alors comme un navigateur au lieu d'utiliser les APIs, mais cela est alors plus lent. L'avantage est cependant d'éviter de planter/bloquer au détriment de la performance.

b1m2n3 a écrit :

Aussi, je suis intéressé par une petite mise au point sur les limites de 1fichierfs en matière d'écriture ? Au tout départ du projet 1fichierfs, j'ai cru comprendre qu'il n'était question que de lecture, puis que l'écriture a aussi été intégrée par la suite, mais toujours avec "limitation sur l'écriture aléatoire (overwrite)". Hors, si je ne me trompe pas, il me semble que l'écriture aléatoire est une chose, l'overwrite (qui peut être en séquentiel ?) en est une autre. Je ne suis pas expert sur la question, mais je cherche à déterminer quelles pourraient êtres concrètement les limitations pratiques...
Exemple : dans mon cas, j'avais projeté - dans un fort idéal - y faire pointer (avec ou sans stockage local intermédiaire) un gestionnaire de téléchargement, avec si nécessaire désarchivage dans la foulée (car ce dernier point, j'ai pu lire que c'était bien possible). Dans ce scénario, il ne s'agirait à priori que de transferts séquentiels ininterrompus. Ainsi, dans l'idée, avec un VPS très basique + un file-hoster tel que 1fichier (bien sur), il deviendrait alors possible pour moins de 3€/mois (oui, oui !) d'expérimenter pas mal de choses (pour déterminer par la pratique de quoi/combien j'ai vraiment besoin). Je me fais peut être un film, mais techniquement, ça me semblait jouable et j'ose imaginer mettre ça en place (ne serait-ce que pour le fun). J'imagine que ça serait dans tous les cas être assez sensible/capricieux, qui plus est avec les perfs de plus en plus réduites et aléatoires de 1fichier (de ce que je lis un peu partout)... ?
Et quid du s3fs & co sinon ? J'imagine qu'il y aurait encore plus de contraintes ?

L'écriture existe maintenant depuis un moment, et utilise le mode FTP... lequel présente des limites, notamment le temps de latence additionnel de 5 minutes (prévu pour les "reprises d'upload" mais que 1fichierfs n'utilise pas).
La limitation est effectivement de l'écriture (quasi) séquentielle. Cette limitation est due au fait que je souhaite conserver, en parallèle de 1fichierfs, le mode "standard", c'est à dire que les fichiers que vous uploadez seront toujours visibles en tant que fichiers portant le nom que vous leur avez mis, au travers de l'interface standard qui est le navigateur.
On pourrait en effet faire de l'écriture "aléatoire", cela consisterait à considérer le stockage distant comme un "périphérique de bloc", mais dans ce cas il faudrait toujours passer par 1fichiefs pour relire, et l'interface standard ne serait plus possible.

Le "quasi" séquentiel a été conçu spécialement parce que encfs (logiciel de chiffrement) que j'utilise par dessus 1fichierfs fait des overwrite de 8 octets tous les 1024 (ou 4096 selon paramètres). Donc en réalité l'écriture est "bufferisée" et on peut toujours "écrire en arrière" sur 64k.

Un gestionnaire de téléchargement avec désarchivage est effectivement "a priori" uniquement du séquentiel et devrait fonctionner... mais certains logiciels sont fort mal écrits et "s'amusent" à faire de l'aléatoire alors qu'en réalité ce n'est pas utile. Donc il faut toujours tester.

Je ne sais pas ou vous avez lu les "performances aléatoires" de 1fichier. Personnellement je considère que cela fonctionne de façon remarquable, surtout compte tenu du prix.
En lecture, j'arrive à saturer ma fibre (1Gbps) de Free sur un seul fichier (c'est à dire sans même du parallélisme) depuis mon PC qui a déjà quelques années (processeur Core i7 de génération 6, on en est à la 13 ou 14 !).
Pourtant, de ce que j'ai pu échanger avec la Team 1fichier, le peering avec Free n'est pas des plus faciles !..

Mais en réalité la performance est un tout et dépend aussi de votre machine, votre réseau, etc...
Ainsi, sur mon Raspberry Pi 4, j'arrive difficilement au tiers de la vitesse sur le PC, derrière la même freebox et avec le même câble Ethernet. Mais ça c'est dû au Raspberry Pi dont la puissance est limitée et qui peine dans le chiffrement (encfs ou tls).
Si vous aimez fonctionner en Wifi, ça affecte aussi la performance par rapport au bon vieux câble Gigabit Ethernet !

Les baisses de performances sur 1fichier.com sont rares. Ça arrive parfois sur certaines machines en particulier (donc une partie de vos fichiers) et c'est en général temporaire.
On peut aussi parfois constater des baisses générales de performances à certaines heures, mais n'oubliez pas qu'un abonnement fibre résidentiel est aussi partagé. Donc à l'heure où tout votre quartier aspire des tera octets pour regarde Netflix, Amazon Prime Video, Disney Chanel, ou simplement la télé en IP via sa box... eh bien oui, parfois on a des ralentissements. Je n'ose accuser 1fichier.com pour cela aussi !..

L'écriture est effectivement un peu plus lente. A Paris j'arrivais parfois à 45Mo/sec, en province où je suis mainenant à 21Mo/s. Beaucoup moins sur le Raspberry Pi, donc j'évite les uploads à partir de cette machine !.. Cela reste acceptable, à peu près la vitesse d'une "bonne clé USB2". Egalement, si on parallélise les écritures (jusqu'à 4 avec le driver actuel), on peut augmenter la vitesse totale d'upload. A Paris je parvenais à saturer la voie montant de la fibre ainsi avec plusieurs uploads en parallèle.
La différence en Paris/province prouve bien que le routage réseau joue aussi un rôle important, notamment sur l'upload. Sur ce facteur qui "accuser" ? Son fournisseur d'accès à internet, 1fichie.com, le complot mondial... bref vous voyez, la "performance" est un tout où de multiples facteurs rentrent en jeu !

Personnellement, je vous engage juste à essayer. Vous avez loupé la promo d'été à 20€ (au lieu de 30€)... j'en ai profité de mon côté pour me rajouter un an d'abonnement.
La "performance" sur un VPS risque effectivement de ne pas être au top, mais sans doute aussi bien pour des raisons CPU ou limitation de bande passante (partagée) comme je l'explique avec mon Raspberry Pi 4. Un VPS est sur une machine virtuelle avec un taux de partage important (pour arriver à faire un prix bas), et vous aurez donc sans doute des limitations davantage de ce côté là que du côté de 1fichier.com !..

s3fs, il y a déjà des drivers fuse qui existent, je n'ai donc pas exploré la chose, et si j'étais sur un stockage de ce genre (AWS), je regarderai en premier vers les drivers existants !
Il n'y a pas pas forcément plus de limites parce que de ce que crois comprendre s3fs est un "stockage d'objet" et non pas de fichiers. Ensuite la correspondance objets <> fichiers, si elle est nécessaire, est faite par le logiciel utilisé. On peut donc plus naturellement faire un "périphérique de blocs" j'imagine... enfin je n'ai vraiment pas creusé au delà de cette connaissance très superficielle.

Dernière modification par Zakhar (Le 31/07/2024, à 16:22)

b1m2n3 · Le 29/08/2024, à 18:48

Merci pour cette réponse ! Et désolé aussi pour ma réponse tardive aussi

Au vu de ce que je lis, je n'ai au contraire rien raté du tout ! Le service proposé est beaucoup trop dirigé pour du partage de masse et ce n'est pas ce que je cherche... Je voyais si je pouvais écrire de gros fichiers depuis un VPS puis les récupérer assez classiquement sous un délai assez court, pour mon usage exclusif. J'abandonne donc cette piste avec 1fichier & co, trop incertain et volatil dans le fonctionnement et conditions d'utilisation. Et même donné, même pour un usage plus simple, ce service ne m'intéresserait toujours pas vu l'absence totale de garantie de retrouver ses données une semaine après ou même le lendemain après les y avoir déposé !

En revanche, peut-être que j'essaierais avec du stockage type bloc/objet, pas si restrictif qu'il n'y paraitrait selon moi... Sinon j'avais aussi pensé essayer avec un service S/FTP/S "augmenté", notamment celui proposé par Hetzner (uniquement eux semble t-il, pas trouvé d'équivalent) : https://www.hetzner.com/storage/storage-box/bx11/. A priori, leur service est assez souple pour être "Usable as network drive", donc pour usage convoité, et plutôt bon marché je trouve. Vous pensez que ça peut le faire avec un driver fuse ou autre, ou je me fais une fausse idée et il vaudrait mieux que j'évite de m'y casser les dents ?

Merci encore !

Dernière modification par b1m2n3 (Le 29/08/2024, à 18:52)

Zakhar · Le 29/08/2024, à 20:54

C'est toi qui vois !

Je dois être super chanceux, personnellement je n'ai jamais perdu aucun fichier avec 1fichier.com.
Il m'arrive, mais vraiment très rarement, d'avoir des ralentissements, mais c'est toujours passager.

Hetzner n'est sans doute pas le moins cher, ça fait du 46€/an pour 1TB, d'autres proposent du 2TB pour 60€. Cependant effectivement, ça a l'air souple. En fait si tu utilises SAMBA/CIFS, ce sera transparent. La dernière fois que j'ai utilisé CIFS, c'était effectivement un driver fuse, il est dans les dépôts d'Ubuntu, pas de tracasserie c'est du "standard" !..

Et effectivement, le modèle de 1fichier.com est bien le "partage de masse", raison pour laquelle ils peuvent faire ce prix imbattable (en tout cas imbattu !) et c'est sage de ne pas les utiliser pour autre chose.
Ils n'ont cependant pas de problème avec le "Cold storage", c'est à dire les "backups" (j'ai plusieurs séries de backups de mes divers PC), ainsi que toute ma musique numérisée, ce qui m'évite de ressortir les CD (et de toute façon je n'ai plus de lecteur de CD !). Tout ça est dans leurs conditions d'usage.

Dernière modification par Zakhar (Le 29/08/2024, à 20:55)

Jarodd · Le 06/09/2024, à 08:49

Bonjour,
Juste pour dire que j'ai été quelques mois chez Hetzner. J'en suis vite reparti, les débits sont catastrophiques, et le support ne répond pas.
Cerise sur le gâteau, quand j'ai résilié ils ont continué à me réclamer des paiements (heureusement je payais en CB et pas en prélèvement).

z3ndra · Le 13/09/2024, à 21:59

Salut. Sais tu quand sortira la prochaine mise à jour par hasard ? Car le volume se retrouve corrompu plusieurs fois, je ne sais pas trop pourquoi mais par moment c’est comme si son contenu devenait inaccessible, je suis obligé de le demonter puis le remonter pour que tout revienne comme avant. Merci d’avance ?

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#476 Le 16/07/2023, à 11:58

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#477 Le 16/07/2023, à 23:05

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#478 Le 17/07/2023, à 22:51

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#479 Le 17/07/2023, à 22:55

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#480 Le 05/11/2023, à 23:50

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#481 Le 06/11/2023, à 08:54

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#482 Le 12/11/2023, à 11:25

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#483 Le 11/12/2023, à 22:16

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#484 Le 03/01/2024, à 21:21

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#485 Le 10/04/2024, à 15:14

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#486 Le 10/04/2024, à 18:24

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#487 Le 18/06/2024, à 19:19

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#488 Le 18/06/2024, à 20:57

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#489 Le 18/06/2024, à 21:15

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#490 Le 18/06/2024, à 23:44

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#491 Le 21/07/2024, à 10:49

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#492 Le 21/07/2024, à 23:27

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#493 Le 21/07/2024, à 23:58

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#494 Le 22/07/2024, à 08:34

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#495 Le 24/07/2024, à 23:31

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#496 Le 31/07/2024, à 15:27

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#497 Le 29/08/2024, à 18:48

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#498 Le 29/08/2024, à 20:54

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#499 Le 06/09/2024, à 08:49

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

#500 Le 13/09/2024, à 21:59

Re : [1fichier] "Montez" votre stockage 1fichier en une commande simple !

Pied de page des forums