#1 Le 25/03/2024, à 15:28
- geole
discussion "Quel type de partition choisir pour un disque externe."
Bonjour.
J'ouvre cette discussion "Quel type de partition choisir pour un disque externe." dans le but de faire quelques remarques plus ou moins pertinentes qui permettront de faire un choix en meilleure connaissance des problèmes.
Les contextes.
1) Souvent un disque externe est un ajout d'espace disque à un ordinateur qui n'a que pour but d'agrandir la capacité de stockage du disque interne ou de le sauvegarder. Il restera toujours à coté de l'ordinateur.
Dans ce cas pas de difficulté de choix : C'est le même type de partition que celle de l 'O.S. Donc EXT4 pour UBUNTU. Quelquefois BTRFS.
2) Cela peut être aussi une façon d'échanger des données avec d'autres ordinateurs sans utiliser le réseau.
Dans ce cas, on peut dire que c'est un disque NOMADE qui doit être sécurisé par du chiffrement.
Je connais deux possibilités.
La technique LUCKS Disponible uniquement dans les Linux.
La technique VERACRYPT, disponible pour les mondes Linux, Microsoft et Apple.
Je ne sais pas s'il existe d'autres techniques.
Il faut donc choisir un mot de passe et ne jamais l'oublier. Ni le mettre en libre service!
Sachant qu'il existe des outils d'attaque de ces mots de passe, il ne doit pas être trop court, Mais il ne doit pas être trop long pour qu'on puisse le frapper sans trop de stress. Il existe de bons conseils. Une bonne approche est de retenir un caractère numérique, un caractère spécial, un caractère minuscule et un caractère majuscule. Ce qui fait un minima de 4 caractères. Par exemple $Z9y.
Si quelqu'un connaît un outil d'attaque pour veracrypt, je suis preneur du renseignement.
3) Maintenant on peut créer notre partition, J'ai retenu que
Si échange Linux <=> Linux, le format EXT4 est parfait.
Si échange Linux/Windows <=> APPLE, le format EXFAT est obligatoire.
Si échange Linux <=> Windows, les formats EXT4 NTFS et EXFAT sont possibles.
Mais j'ai noté que le format EXT4 nécessite une seule partition sur le disque et installation de WSL sur windows. Tous les windows ne supportent donc pas.
Je poste pour sauvegarde et vais développer les points suivants:
4) Les contraintes.
5) Un constat sur transfert de fichiers énorme style vidéo
6) Un constat sur transfert de gros fichiers style photo
7) Un constat sur transfert de fichiers tout petits style documents
8) Un constat sur transfert de fichiers minuscules style paramètres
Pour le moment, tout n'est pas fini. Mais certains résultats me surprennent...
ATTENTION, ce n'est pas un bench, firefox fonctionne et je l'utilise, Thunderbird fonctionne des taches de fond sont lancées de temps en temps. Libre office est utilisé.
Dernière modification par geole (Le 25/03/2024, à 15:34)
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#2 Le 25/03/2024, à 15:29
- geole
Re : discussion "Quel type de partition choisir pour un disque externe."
Les contraintes.
Je dispose d'un disque dur externe de 500 Go que j'ai découpé avec gparted en trois partitions de tailles identiques. En voici la structure.
sudo parted /dev/sdb unit s print free
Modèle : Seagate Slim SL (scsi)
Disque /dev/sdb : 976773167s
Taille des secteurs (logiques/physiques) : 512B/4096B
Table de partitions : gpt
Drapeaux de disque :
Numéro Début Fin Taille Système de fichiers Nom Drapeaux
34s 2047s 2014s Espace libre
1 2048s 325591039s 325588992s ext4
2 325591040s 651180031s 325588992s ntfs msftdata
3 651180032s 976769023s 325588992s msftdata
976769024s 976773133s 4110s Espace libre
sudo blkid | grep sdb3
/dev/sdb3: LABEL="USB-EXFAT" UUID="67FD-686C" BLOCK_SIZE="512" TYPE="exfat" PTTYPE="dos" PARTUUID="4fc0b29b-e664-4108-8ae2-f7334b3082a3"
Première surprise. Parted ne sait pas indiquer que SDB3 est formaté en EXFAT.
Pour rappel, les contraintes connues
EXT4: L'administrateur doit autoriser le propriétaire de la partition à écrire dans sa partition
NTFS: Certains caractères sont interdits. Les permissions des fichiers sont perdues. Cela peut poser un problème lors d'un échange EXT4 <=> NTFS
EXFAT: Le nombre de caractères interdits est supérieur. Les permissions sont perdues. Les majuscules et les minuscules sont traitées à l'identique. C'est le premier créé qui donne le nom. Le problème d'échange EXT4/NTFS <=> EXFAT est donc plus important.
Test sur la profondeur des répertoires qu'on peut créer. J'ai utilisé ce script.
cd /media/$USER/USB-$Nat
time for ((j=0; j<512; j++));do
touch $j.txt
mkdir $j
ls -ls
cd $j
done
@p:/media/a/USB-EXFAT/ ls -ls
0/1/2/3/4/5/6/7/8/9/10/11/12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/27/28/29/30/31/32/33/34/35/36/37/38/39/40/41/42/43/44/45/46/47/48/49/50/51/52/53/54/55/56/57/58/59/60/61/62/63/64/65/66/67/68/69/70/71/72/73/74/75/76/77/78/79/80/81/82/83/84/85/86/87/88/89/90/91/92/93/94/95/96/97/98/99/100/101/102/103/104/105/106/107/108/109/110/111/112/113/114/115/116/117/118/119/120/121/122/123/124/125/126/127/128/129/130/131/132/133/134/135/136/137/138/139/140/141/142/143/144/145/146/147/148/149/150/151/152/153/154/155/156/157/158/159/160/161/162/163/164/165/166/167/168/169/170/171/172/173/174/175/176/177/178/179/180/181/182/183/184/185/186/187/188/189/190/191/192/193/194/195/196/197/198/199/200/201/202/203/204/205/206/207/208/209/210/211/212/213/214/215/216/217/218/219/220/221/222/223/224/225/226/227/228/229/230/231/232/233/234/235/236/237/238/239/240/241/242/243/244/245/246/247/248/249/250/251/252/253/254/255/256/257/258/259/260/261/262/263/264/265/266/267/268/269/270/271/272/273/274/275/276/277/278/279/280/281/282/283/284/285/286/287/288/289/290/291/292/293/294/295/296/297/298/299/300/301/302/303/304/305/306/307/308/309/310/311/312/313/314/315/316/317/318/319/320/321/322/323/324/325/326/327/328/329/330/331/332/333/334/335/336/337/338/339/340/341/342/343/344/345/346/347/348/349/350/351/352/353/354/355/356/357/358/359/360/361/362/363/364/365/366/367/368/369/370/371/372/373/374/375/376/377/378/379/380/381/382/383/384/385/386/387/388/389/390/391/392/393/394/395/396/397/398/399/400/401/402/403/404/405/406/407/408/409/410/411/412/413/414/415/416/417/418/419/420/421/422/423/424/425/426/427/428/429/430/431/432/433/434/435/436/437/438/439/440/441/442/443/444/445/446/447/448/449/450/451/452/453/454/455/456/457/458/459/460/461/462/463/464/465/466/467/468/469/470/471/472/473/474/475/476/477/478/479/480/481/482/483/484/485/486/487/488/489/490/491/492/493/494/495/496/497/498/499/500/501/502/503/504/505/506/507/508/509/510/511$
Les trois systèmes de fichiers acceptent tous 512 niveaux hiérarchiques. Ce me semble bien suffisant.
Le temps de fabrication. Il faudra que je reconfirme la durée du NTFS. Plus la profondeur augmentait plus cela ralentissait. Il y a peut-être eu un autre événement.
EXTFAT NTFS EXT4
real 0m6,406s 162m15,527s 0m17,818s
user 0m1,686s 0m2,125s 0m5,213s
sys 0m4,826s 3m12,673s 0m7,973s
Test sur la longueur des noms de fichier. J'ai utilisé ce script
cd /media/$USER/USB-$Nat
A="azertyuiopqsdfghjklmwxcvbn01234" ; B=$A$A$A$A ; C=$B$B
time for ((j=0; j<20; j++));do
touch E-$C.txt
mkdir $j-$C
ls -ls
cd $j-$C
done
a@p:/media/a/USB-EXFAT/0-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/1-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/2-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/3-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/4-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/5-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/6-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/7-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/8-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/9-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/10-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/11-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/12-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/13-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/14-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/15-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklmwxcvbn01234/16-azertyuiopqsdfghjklmwxcvbn01234azertyuiopqsdfghjklm$
la longueur vue est donc de 4071 caractères. Je pense que la borne limite est de 4096 caractères, Mais la grosse surprise : Je pouvais continuer à augmenter la longueur. Plus rien ne s'agrandissait . Et aucun message d'erreur signalé.
A croire qu'il y a un bug dans la commande MKDIR. Ce comportement fut le même en NTFS et en EXT4
EXTFAT NTFS EXT4
real 0m0,123s 0m0,152s 0m0,876s
user 0m0,074s 0m0,074s 0m0,208s
sys 0m0,055s 0m0,037s 0m0,246s
Dernière modification par geole (Le 25/03/2024, à 16:52)
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#3 Le 25/03/2024, à 15:29
- geole
Re : discussion "Quel type de partition choisir pour un disque externe."
Un constat sur transfert de fichiers énorme style vidéo
Le script utilisé fut
Part=USB-EXTFAT
udisksctl mount -b /dev/disk/by-label/USB-EXFAT
rm -r /media/$USER/USB-EXFAT/*
time for ((j=0; j<100; j++));do
echo $j
dd if=/media/Commun/a/Téléchargements/noble-desktop-amd64-daily.iso of=/media/$USER/USB-EXFAT/fic-$j bs=1MB count=5120 2>$HOME/err
A=$(cat $HOME/err | grep impossible)
if [[ -n $A ]];then echo ERROR au fichier N° $j Valeur; cat $HOME/err; j=100 ;fi
done
ls -ls -rtls/media/a/USB-EXFAT
total 162789888
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:28 fic-0
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:30 fic-1
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:32 fic-2
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:33 fic-3
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:35 fic-4
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:37 fic-5
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:38 fic-6
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:39 fic-7
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:41 fic-8
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:42 fic-9
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:44 fic-10
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:45 fic-11
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:47 fic-12
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:48 fic-13
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:50 fic-14
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:51 fic-15
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:53 fic-16
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:55 fic-17
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:56 fic-18
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 16:58 fic-19
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:00 fic-20
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:01 fic-21
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:05 fic-22
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:07 fic-23
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:09 fic-24
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:12 fic-25
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:13 fic-26
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:15 fic-27
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:16 fic-28
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:19 fic-29
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:21 fic-30
5000064 -rwxr-xr-x 1 a a 5120000000 mars 21 17:23 fic-31
2787840 -rwxr-xr-x 1 a a 2854748160 mars 21 17:24 fic-32
0 -rwxr-xr-x 1 a a 0 mars 21 17:24 fic-34
Rien de particulier à dire, En NTFS, Le dernier fichier avait une taille un peu plus petite et en EXT4, la partition a été pleine avec un fichier de moins. La raison étant les 5% réservés systématiquement. Pour la suite, j ai cassé cette réserve. Mais je n ai pas relancé le test.
4112292 -rw-r--r-- 1 root root 4210638848 mars 22 01:26 fic-31
A noté que j ai calculé le débit en divisant (TailleFichier*NbreDeichiers)/durée et en ne prenant pas en compte le fichier incomplet
EXTFAT NTFS EXT4
real 57m28,084s 96m22,300s 47m47,574s
user 0m3,070s 0m2,157s 0m0,465s
sys 9m24,695s 10m54,542s 0m0,630s
Débit 46 MB/s 27 MB/s 55 MB/s
A noter que le test est fait en 22.04 et que le montage automatique des partitions externes NTFS est assuré par le module NTFS-3G qui est connu pour ne pas être performant.
Dernière modification par geole (Le 25/03/2024, à 17:22)
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#4 Le 25/03/2024, à 15:29
- geole
Re : discussion "Quel type de partition choisir pour un disque externe."
Un constat sur transfert de gros fichiers style photo
Le script utilisé
Rep=EXFAT
NBmax=999999
NB=0
time for ((j=0; j<185; j++));do
echo $j
mkdir /media/$USER/USB-$Rep/REP-$j
for ((k=0; k<185; k++));
do
dd if=/media/Commun/a/Téléchargements/noble-desktop-amd64-daily.iso of=/media/$USER/USB-EXFAT/REP-$j/FIC-$k bs=1MB count=5 2>$HOME/err
A=$(cat $HOME/err | grep impossible)
if [[ -n $A ]];then echo ERREUR au répertoire $j fichier N° $k Valeur;
cat $HOME/err ; j=999 ; k=999;
else
NB=$(($NB+1))
fi
if [[ $NB -gt $NBmax ]];then j=999 ; k=999 ; fi
done
done
echo Nombre de fichiers créés $NB;
ls -Rls -1 /media/a/USB-EXFAT | wc -l
mkdir: impossible de créer le répertoire «/media/a/USB-EXFAT/REP-177»: Aucun espace disponible sur le périphérique
ERREUR au répertoire 177 fichier N° Valeur
dd: impossible d'ouvrir '/media/a/USB-EXFAT/REP-177/FIC-0': Aucun fichier ou dossier de ce nom
Nombre de fichiers créés 32745
33455
J'aurais du améliorer le test de partition pleine car cela fait des I/O supplémentaires.
A l'ssue du passage EXFAT, on sait combien de fichiers ont été créés et on repositionne le MAX à cette valeur afin de ne pas en créer plus...
EXTFAT NTFS EXT4
real 69m0,384s 75m10,985s 74m33,444s
user 2m37,740s 2m20,116s 5m2,503s
sys 7m32,465s 17m9,425s 6m21,837s
Débit 40 MB/s 37 MB/s 34 MB/s
A noter cette action réalisée
sudo tune2fs -m 0.01 /dev/sdb1
tune2fs 1.46.5 (30-Dec-2021)
Définition du pourcentage de blocs réservés à 0.01% (4069 blocs)
et malgré tout
df -htext4
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
.........
/dev/sdb1 152G 152G 0 100% /media/a/USB-EXT4
Dernière modification par geole (Le 25/03/2024, à 18:03)
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#5 Le 25/03/2024, à 15:30
- geole
Re : discussion "Quel type de partition choisir pour un disque externe."
Un constat sur transfert de fichiers tout petits style documents
Afin que la partition ne se remplisse pas trop vite, on va la formater en ligne de commande.
Je pouvais choisir une taille logique de 1 Ko, Mais le disque physiquement traite par unité de 4Ko. J'ai retenu cette valeur.
Le formatage nouveau.
sudo mkfs.exfat -v -n USB-EXFAT -c 4k --pack-bitmap /dev/sdb3
exfatprogs version : 1.1.3
[exfat_get_blk_dev_info: 202] Block device name : /dev/sdb3
[exfat_get_blk_dev_info: 203] Block device offset : 333404176384
[exfat_get_blk_dev_info: 204] Block device size : 166701563904
[exfat_get_blk_dev_info: 205] Block sector size : 512
[exfat_get_blk_dev_info: 206] Number of the sectors : 325588992
[exfat_get_blk_dev_info: 208] Number of the clusters : 40698624
[exfat_zero_out_disk: 523] zero out written size : 169721856, disk size : 166701563904
Creating exFAT filesystem(/dev/sdb3, cluster size=4096)
Writing volume boot record: [exfat_setup_boot_sector: 81] Volume Offset(sectors) : 651180032
[exfat_setup_boot_sector: 83] Volume Length(sectors) : 325588992
[exfat_setup_boot_sector: 85] FAT Offset(sector offset) : 2048
[exfat_setup_boot_sector: 87] FAT Length(sectors) : 317960
[exfat_setup_boot_sector: 89] Cluster Heap Offset (sector offset) : 321536
[exfat_setup_boot_sector: 91] Cluster Count : 40658432
[exfat_setup_boot_sector: 93] Root Cluster (cluster offset) : 1245
[exfat_setup_boot_sector: 95] Volume Serial : 0x76ae0ead
[exfat_setup_boot_sector: 96] Sector Size Bits : 9
[exfat_setup_boot_sector: 98] Sector per Cluster bits : 3
done
Writing backup volume boot record: [exfat_setup_boot_sector: 81] Volume Offset(sectors) : 651180032
[exfat_setup_boot_sector: 83] Volume Length(sectors) : 325588992
[exfat_setup_boot_sector: 85] FAT Offset(sector offset) : 2048
[exfat_setup_boot_sector: 87] FAT Length(sectors) : 317960
[exfat_setup_boot_sector: 89] Cluster Heap Offset (sector offset) : 321536
[exfat_setup_boot_sector: 91] Cluster Count : 40658432
[exfat_setup_boot_sector: 93] Root Cluster (cluster offset) : 1245
[exfat_setup_boot_sector: 95] Volume Serial : 0x76ae0ead
[exfat_setup_boot_sector: 96] Sector Size Bits : 9
[exfat_setup_boot_sector: 98] Sector per Cluster bits : 3
done
Fat table creation: [exfat_create_fat_table: 307] Total used cluster count : 1246
done
Allocation bitmap creation: done
Upcase table creation: done
Writing root directory entry: done
Synchronizing...
exFAT format complete!
a@p:~$
L'exécution avec ce script
Nat=EXFAT
udisksctl mount -b /dev/disk/by-label/USB-$Nat
rm -r /media/$USER/USB-$Nat/*
NBmax=999999999
NB=0
time for ((j=0; j<135; j++));do
mkdir /media/$USER/USB-$Nat/REP0-$j
for ((k=0; k<135; k++));do
echo $j-$k
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k
for ((l=0; l<135; l++));do
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l
for ((m=0; m<135; m++));do
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m
for ((n=0; n<135; n++));do
dd if=/media/Commun/a/Téléchargements/noble-desktop-amd64-daily.iso of=/media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m/FIC-$n bs=4096 count=1 2>$HOME/err
A=$(cat $HOME/err | grep impossible)
if [[ -n $A ]];then echo ERREUR aux répertoires $j-$k-$l-$m fichier N° $n Valeur;
cat $HOME/err ; j=999 ; k=999; l=999; m=999; n=999
else
NB=$(($NB+1))
fi
if [[ $NB -gt $NBmax ]];then j=999 ; k=999 ; l=999; m=999; n=999; fi
done; done;done;done;done
echo Nombre de fichiers créés $NB;
time ls -Rls -1 /media/a/USB-EXFAT | wc -l
Je constate que le disque se remplit très lentement.... J'estime qu'il faudrait 15 jours pour le remplir... Je décide que je tuerais le process au bout de 12 heures de fonctionnement..... Voici les résultats.
real 738m10,621s
user 83m27,302s
sys 44m32,086s
Nombre de fichiers créés 1229770
time ls -Rls -1 /media/a/USB-EXFAT | wc -l
1266492
real 19m24,993s
user 0m4,573s
sys 18m42,167s
df -BM -texfat
Sys. de fichiers blocs de 1M Utilisé Disponible Uti% Monté sur
/dev/sdb3 158822M 4953M 153870M 4% /media/a/USB-EXFAT
Le débit est donc de 111 KB/s La partie NTFS tourne. J'ai cru que la commande ls bouclait!
On obtient donc un traitement de 99958 fichiers/heure. Le formatage standard a donné 95318 fichiers/heure. C'est la même chose. Mais la partition est pleine à 4 % au lieu de 100 %
J ai réalisé un peu tard que l extrême lenteur était due au test de partition pleine mal réalisé. Maintenant il est comme cela
B=$(dd if=/media/Commun/a/Téléchargements/noble-desktop-amd64-daily.iso of=/media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m/FIC-$n bs=4096 count=1 2>&1 >/dev/null)
A=$(echo $B | grep impossible)
if [[ -n $A ]];then .....
Le tableau comparatif
EXTFAT NTFS EXT4
real 90m48,934s 92m11,070s 84m55,469s
user 73m35,017s 72m12,783s 71m45,986s
sys 24m51,764s 21m1,004s 21m5,508s
Débit 902 KB/s 889 KB/s 965 KB/s
Dernière modification par geole (Le 27/03/2024, à 09:37)
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#6 Le 25/03/2024, à 15:30
- geole
Re : discussion "Quel type de partition choisir pour un disque externe."
Un constat sur transfert de fichiers minuscules style paramètres.
Globalement cela fait mal partout.
Il faut 13 heures et 14 minutes pour remplir à 100% la partition EXFAT Mais vu le gaspillage disque cela représente moins de 2% de l'espace disque NTFS/EXT4
Voici le script utilisé
Nat=EXFAT
udisksctl mount -b /dev/disk/by-label/USB-$Nat
rm -r /media/$USER/USB-$Nat/*
NBmax=999999999
NB=0
time for ((j=0; j<135; j++));do
mkdir /media/$USER/USB-$Nat/REP0-$j
for ((k=0; k<135; k++));do
echo $j-$k
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k
for ((l=0; l<135; l++));do
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l
for ((m=0; m<135; m++));do
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m
for ((n=0; n<135; n++));do
dd if=/media/Commun/a/Téléchargements/noble-desktop-amd64-daily.iso of=/media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m/FIC-$n bs=512 count=1 2>$HOME/err
A=$(cat $HOME/err | grep impossible)
if [[ -n $A ]];then echo ERREUR aux répertoires $j-$k-$l-$m fichier N° $n Valeur;
cat $HOME/err ; j=999 ; k=999; l=999; m=999; n=999
else
NB=$(($NB+1))
fi
if [[ $NB -gt $NBmax ]];then j=999 ; k=999 ; l=999; m=999; n999; fi
done; done;done;done;done
echo Nombre de fichiers créés $NB;
ls -Rls -1 /media/a/USB-EXFAT | wc -l
mkdir: impossible de créer le répertoire «/media/a/USB-EXFAT/REP0-0/REP1-0/REP2-69/REP3-36»: Aucun espace disponible sur le périphérique
ERREUR aux répertoires 0-0-69-36 fichier N° 0 Valeur
dd: impossible d'ouvrir '/media/a/USB-EXFAT/REP0-0/REP1-0/REP2-69/REP3-36/FIC-0': Aucun fichier ou dossier de ce nom
Nombre de fichiers créés 1262385
1300079
EXTFAT NTFS EXT4
real 794m38,794s 737m23,687s 1299m20,223s
user 85m54,433s 84m8,976s 163m58,056s
sys 45m51,469s 38m4,839s 163m58,056s
Débit 12 KB/s 13 KB/s 8 KB/s
Je n'avais jamais réalisé combien cela pouvait être long d'écrire des fichiers d'un secteur de 512 octets dans un disque qui fait de l'émulation car ayant une unité d 'allocation de 4096 octets . Il me semble qu'il existe une possibilité de dire que le secteur logique fait aussi 4096 octets.
En EXT4, il y a donc 971 secteurs d'écrits par minute. Le disque faisant 500 Go, il faudrait 11,6 jours pour le remplir...............
Ayant trouvé le bug dans le script (test partition pleine.) Je relance les trois essais en ne conservant que le test "nombre de fichiers" que je force à 1229770 afin de pouvoir faire une comparaison facile avec les résultats de l'échange précédant.
Voici le nouveau script plus simple.
### Pas de remise à zéro des deux passages précédents
Nat=EXFAT
udisksctl unmount -b /dev/disk/by-label/USB-$Nat
udisksctl mount -b /dev/disk/by-label/USB-$Nat
NBmax=1229770
NB=0
time for ((j=1; j<135; j++));do
mkdir /media/$USER/USB-$Nat/REP0-$j
for ((k=0; k<135; k++));do
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k
for ((l=0; l<135; l++));do
echo $j-$k-$l
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l
for ((m=0; m<135; m++));do
mkdir /media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m
for ((n=0; n<135; n++));do
dd if=/media/Commun/a/Téléchargements/noble-desktop-amd64-daily.iso of=/media/$USER/USB-$Nat/REP0-$j/REP1-$k/REP2-$l/REP3-$m/FIC-$n bs=512 count=1 1>/dev/null 2>&1
NB=$(($NB+1))
if [[ $NB -gt $NBmax ]];then j=999 ; k=999 ; l=999; m=999; n=999; fi
done; done;done;done;done
echo Nombre de fichiers créés $NB;
time ls -Rls -1 /media/a/USB-$Nat | wc -l
1-0-67
real 369m26,583s
user 25m16,775s
sys 19m22,684s
Nombre de fichiers créés 1229771
3800425
real 188m42,038s
user 0m12,796s
sys 184m3,308s
df -htext4
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
/dev/sdb3 156G 15G 141G 10% /media/a/USB-EXFAT
T=$((369*60+27))
echo Débit = $((1229771/2/$T)) KB/s
Débit = 27 KB/s
EXTFAT NTFS EXT4
real 369m26,583s 31m15,777s 31m48,069s
user 25m16,775s 19m9,201s 20m45,981s
sys 19m22,684s 7m25,512s 9m12,083s
Débit 23 KB/s 327 KB/s 322 KB/s
Il est clair que EXFAT n'est pas adapté à ce style de fichiers. De plus, énorme consommation de la commande ls. Plus de trois heures de processeur pour traiter 3.800.425 entrées.
Dernière modification par geole (Le 28/03/2024, à 17:37)
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#7 Le 25/03/2024, à 15:50
- Coeur Noir
Re : discussion "Quel type de partition choisir pour un disque externe."
Excellente idée de topic, merci Geole.
J'émets bien sûr une réserve quant à l'obligation de chiffrer un disque nomade :
⋅ cela dépend du contexte, il faudra bien donner le mdp pour déchiffrer si l'idée c'est d'envoyer physiquement ce DD à quelqu'un d'autre, ailleurs ;
⋅ et s'assurer que la méthode de chiffrement est disponible « partout » sur les machines où risque d'être connecté ce DD.
( mais ce sera ma seule remarque au sujet du chiffrement, pour ne pas dévier du sujet initial de ce fil. )
Débuter ⋅ Doc ⋅ Bien rédiger ⋅ Retour commande ⋅ Insérer image | illustrations & captures d'écran < ⋅ >
Hors ligne
#8 Le 26/03/2024, à 16:38
- geole
Re : discussion "Quel type de partition choisir pour un disque externe."
Bonjour
Au vu des résultats en cours, je suis tenté d'ajouter un passage en disant que la taille logique du secteur est de 4096 octets. Je ne sais pas comment on fait pour EXT4 et NTFS, j'ai vu que pour EXFAT, c'est dans le formatage (allocation taille du cluster). L'essai est d'ailleurs parti.
Les grilles de l'installateur https://doc.ubuntu-fr.org/tutoriel/inst … _subiquity
Je défie QUICONQUE de trouver une discussion où j'aurais suggéré de remplacer un SSD par un disque dur.
Les partitions EXT4 des disques externes => https://forum.ubuntu-fr.org/viewtopic.p … #p22697248
Hors ligne
#9 Le 31/03/2024, à 00:22
- chpnp
Re : discussion "Quel type de partition choisir pour un disque externe."
Salut,
Je ne connais désormais personnellement plus que deux cas de figure! (mais je n'utilise plus windows qu'épisodiquement)
- echange avec un PC, en général un windows que j'ai à côté, et ce n'est pas vraiment nomade et ne nécessite pas particulièrement de chiffrement; c'est plutot pour ne pas configurer le réseau.
Tout fait l'affaire et en général j'utiise une clé usb en vfat
- archivage nécessitant un chiffrement et j'utiliser systématiquement ext4 et luks. Pas vraiment confiance dans vfat
2 additions par rapport à ce que j'ai lu
- si ma mémoire est bonne utliser luks sur windows est possible (pour un fichier vfat); jamais utilisé wsl personnellement mais si ca marche avec ext4....
- plutot que donner le mot de passe je préfèrerais donner une clé usb avec un fichier permettant le déchiffrement. .... le fichier clé généré est alors aléatoire, et je peux garder mon mot de passe pour moi tout seul.....
Hors ligne
#10 Le 19/04/2024, à 18:06
- Christophe C
Re : discussion "Quel type de partition choisir pour un disque externe."
très intéressant. Merci pour ce partage.
perso j'ai un disque externe en Exfat pour sauvegarder et parfois partager des films ou séries avec des amis sous Windows. Marche bien.
J'aurais pu utiliser NTFS. Ceci dit, je comprends que pour des gros fichiers, ExFat est un peu + rapide.
Dernière modification par Christophe C (Le 19/04/2024, à 18:09)
BountySource - Faite un petit don, ponctuel ou récurent, pour soutenir le développement de XFCE.
Timeshift - Sécurité : pensez à paramétrer des points de restauration système.
Euclide : « Ce qui est affirmé sans preuve peut être nié sans preuve ».
Hors ligne