Ubuntu-fr

indie

[RESOLU] vitesse transfert anormalement longue

Bonjour,

j'ai un disque dur externe USB 3, avec (soit disant) une vitesse de transfert de 5Go/s.
Je procède à un backup de mon /home d'environ 60 Go... en synchronisant les éléments uniquement modifiés, via la commande "rsync -auv --delete-after source/ destination/".
Le problème est que c'est extrêmement long: environ 2-3 heures!!

Ce n'est pas normal n'est ce pas? Quelqu'un peut m'aider?
Est ce qu'un script pour lancer rsync en multi-thread pourrait améliorer cela?

Merci

Dernière modification par indie (Le 26/04/2019, à 12:12)

LukePerp

Re : [RESOLU] vitesse transfert anormalement longue

Bonjour,
Selon toi, tu aurais un débit au mieux de 8 Mo/s ce qui est faible. Sauf que, tu as évoqué uniquement le disque de destination. Quel est le support source exactement ? Un vieux disque dur en 5400 trm est pas loin de 8 Mo/s en lecture sur un gros volume de données. Pourrais tu communiquer le modèle exacte du support source et chronométrer exactement la durée d'une copie pour un volume précis. Sans données exactes, difficile de répondre précisément

---

Gamer inside - Ubuntu Mate dernière LTS - Intel i5, 16 Go - Dual boot Windows - Utilisateur de Dapps sur Ethereum

indie

Re : [RESOLU] vitesse transfert anormalement longue

OK merci, pour la source c'est un disque dur SSD avec 500 Go de mémoire et 16Go de RAM. Ca devrait aller non?

Pour le chronométrage, je n'ai pas mon disque sous la main... je pourrais faire ca plus tard.
Mais en attendant, peux tu me dire si ca serait possible d'améliorer les performances en faisant du multi-thread?

TheSun

Re : [RESOLU] vitesse transfert anormalement longue

Déjà en usb c'est pas 5 Go/s le débit maximum mais 5 Gb/s !
ça n'a rien à voir et c'est une erreur de débutant de se tromper d'unité.

Car 1 octet = 8 bits

5 Gb/s est en faite la même chose que 640 Mo/s

Ensuite ça c'est un débit théorique, pour atteindre un tel débit il y a pleins de conditions à respecter, même avec un SSD traditionnel en SATA tu ne peux pas écrire à cette vitesse (les bons écrivent autour de 560 Mo/s au maximum. (sauf les SSD NVME interne PCI-E)

Un disque dur mécanique (et c'est probablement ce que tu as comme disque externe) est encore bien plus lent surtout si c'est un 2.5 pouces.

Il y a encore d'autres éléments qui vont ralentir ton débit :

- La taille des fichiers : si ton disque externe est bien un mécanique à l'intérieur, il aura beaucoup + de mal à écrire 1 million de fichiers de 10 Ko que 1 seul gros fichier de 10 Gigas (pourtant ça revient à peu près au même au niveau de la taille totale à copier mais pas pour le temps de copie).

- Le système de fichier influence aussi sur la vitesse de copie, par exemple si ton disque externe est en NTFS, la vitesse d'écriture sera un peu moins rapide qu'en EXT4.

Il y a donc pleins d'éléments à prendre en compte qui peuvent ralentir ta copie :

- vitesse de lecture du disque source (dans ton cas comme c'est un SSD, à priori ce n'est pas là ou se trouve le gros bridage
- vitesse d'écriture du disque présent dans ton boitier externe
- si la copie concerne pleins de petit fichier (lent) ou plutôt des gros fichiers comme des films (rapide)
- si la norme USB3 est bien présente à la fois sur les prises du pc ET le boitier externe
- si le boitier est auto-alimenté par USB notamment avec les 2.5 pouces (plus lent) ou si il a sa propre alimentation secteur (boîtier 3.5 pouces) qui sont plus rapide
- le système de fichier sur la source et la destination. Le système le plus lent pour l'écriture est le NTFS sous linux (préviligier système natif comme XFS, BTRFS, EXT4...).

Dernière modification par TheSun (Le 25/04/2019, à 13:28)

LukePerp

Re : [RESOLU] vitesse transfert anormalement longue

Si le support source est un ssd et si la destination est en usb 3, et si 60 Go à copier dure au mieux 2h, comme tu l'indique, alors il y a un vrai problème de débit. Toutefois, tu dois vérifier tes dire, en particulier la quantité de données et la durée. Peut être qu'il y a des répertoires cachées aussi copiés ? Vérifies le câble usb et change le. Vérifie le connecteur usb et utilise bien celui usb 3 : bleu ou SS.

---

Gamer inside - Ubuntu Mate dernière LTS - Intel i5, 16 Go - Dual boot Windows - Utilisateur de Dapps sur Ethereum

indie

Re : [RESOLU] vitesse transfert anormalement longue

Merci TheSun pour ces détails.
Mais même avec une vitesse de 560Mo/s, pour copier 60Go ca ne devrait pas prendre plus de quelques minutes.

Pour les infos:
* je suis en NTFS, je peux passer en EXT4 mais je ne pense pas que ca augmente significativement la vitesse (*?!)
* dans mon backup il y a autant de petits fichiers que de gros fichiers
* tout est en USB 3.0
* c'est un boitier de 2.5 pouces avec un cordon d'alimentation
Par contre, j'ai fait le test avec une clé USB 3.0 et j'ai le même problème...

Est ce que ca pourrait venir des pilotes Ubuntu 18.04 qui ne soient pas en USB 3? Comment dois je faire pour vérifier mes pilotes USB?

Merci !

indie

Re : [RESOLU] vitesse transfert anormalement longue

LukePerp oui il y a des fichiers cachés copiés... ca change quelque chose?
Je les comptabilise dans les 60Go.

LukePerp

Re : [RESOLU] vitesse transfert anormalement longue

Avant de bricoler le système, vérifies tout, en particulier le connecteur, la vraie quantité de données à copier et mesure la durée. Sur le forum, nous avons l'habitude de voir des à priori ne reflétant guère la réalité, sans t'offenser ☺

---

Gamer inside - Ubuntu Mate dernière LTS - Intel i5, 16 Go - Dual boot Windows - Utilisateur de Dapps sur Ethereum

indie

Re : [RESOLU] vitesse transfert anormalement longue

Ok, pour les connecteurs, je pense que c'est bon puisque j'ai le meme problème avec une clé USB 3.
Pour la quantité de données, j'ai mesuré un backup complet que j'ai déjà fait (en patientant...) et le dossier fait environ 60Go. Est ce bon comme ca?

Après il me reste à mesurer précisément la durée mais c'est de l'ordre de 2-3heures...

Dernière modification par indie (Le 25/04/2019, à 14:47)

melixgaro

Re : [RESOLU] vitesse transfert anormalement longue

Salut,

Je trouve que TheSun a évoqué des éléments pertinents. En particulier, la question du système de fichier. Je me souviens de tests que j'avais fait (il y a quelques années) : la vitesse d'écriture était presque deux fois plus petite sur du NTFS que sur du ext4 (même disque pour les deux tests, formaté en NTFS puis en ext4, usb3 branché sur du usb, écriture d'un fichier de quelques Go depuis le même système linux à chaque fois).

En outre, c'est une aberration de faire une sauvegarde de fichiers depuis du ext4 vers du NTFS puisque toutes les permissions (voire certaines métadonnées ?) sont perdues.

---

Linux depuis ~2007. Xubuntu seulement.

indie

Re : [RESOLU] vitesse transfert anormalement longue

Merci melixgaro.
Je ne savais pas vraiment comment formater, et sur mon précédent post on m'avait conseillé de faire du NTFS.
Ce qui explique mon choix, mais je vais changer et faire du EXT4. Par contre il faudrait que je refasse la modif sur tous mes supports et refasse toutes mes sauvegardes, pfiouh...

melixgaro

Re : [RESOLU] vitesse transfert anormalement longue

Ne te précipite pas non plus. Le formatage implique l'effacement des données, donc ça ne se fait pas à la légère. On t'avait peut-être conseillé le NTFS car tu avais exprimé le souhait de pouvoir accéder aux données depuis un poste Windows.

Tu pourrais aussi donner les données S.M.A.R.T de ton disque externe, pour voir s'il est sain.

Il faut installer le paquet smartmontools puis

sudo smartctl -d sat -a /dev/sdX

en remplaçant X par la lettre correspondant à ton disque. Donne-nous le retour.

---

Linux depuis ~2007. Xubuntu seulement.

indie

Re : [RESOLU] vitesse transfert anormalement longue

Petite question:
est ce que je peux me passer de faire un backup de mon .cache?
et donc rajouter à ma commande rsync un --exclude=".cache", voir meme un --exclude=".*" ???

TheSun

Re : [RESOLU] vitesse transfert anormalement longue

oui tu peux ignorer le dossier ~/.cache

Sinon oui concernant le système de fichier, beaucoup utilise le NTFS car bien qu'il ne soit pas très rapide sous linux en écriture, il faut quand même noter qu'il est accessible depuis n'importe quel système ce qui n'est pas le cas d'un système de fichier linux. Ton disque externe en ext4 tu va pas forcément pouvoir le lire depuis un poste Windows.

(enfin j'ai entendu dire qu'avec les prochaines builds de Windows 10, ils pourront lire l'ext4 par défaut, a voir ce que ça donnera plus tard...)

Dernière modification par TheSun (Le 25/04/2019, à 15:42)

indie

Re : [RESOLU] vitesse transfert anormalement longue

Pour le formatage, non je n'avais pas spécifié que je souhaitais utiliser Windows, au contraire cela fait des années que je ne l'utilise pas.
Je vais donc tout passer en EXT4.

J'ai installé smartmontools mais je n'ai pas mon disque externe pour faire la manip. Par contre, vu que j'ai le meme problème sur une clé USB 3.0 de 128 Go, je ne sais pas si ca vient du disque...

Ok, je vais ignorer le .cache car il est extrêmement volumineux. Est ce que je peux aussi ignorer tous les autres dossiers/fichiers cachés?

Dernière modification par indie (Le 25/04/2019, à 15:49)

TheSun

Re : [RESOLU] vitesse transfert anormalement longue

Est ce que je peux aussi ignorer tous les autres dossiers/fichiers cachés?

Nan pas forcément, il y en a des utiles, ça dépend ce que tu veux sauvegarder aussi.

Par exemple :

- le dossier .Mozilla contient ta config de firefox, si tu le supprimes tu perdras donc tout tes favoris/marque-page ainsi que tous les éventuels mdp enregistrés, plus d'historique non plus (sauf si t'a synchronisé avec un compte firefox en ligne ou fais un backup manuel des marque-pages en .json)

- si tu utilises ssh avec un système de clé privé/clé publique, c'est sauvegardé dans .ssh et donc tu perd ta clé qu'il faudra regénéré si tu supprimes le .ssh

en faite ça risque de perdre tes préférences de tes logiciels. ça dépend si t'y attache de l'importance ou pas.

Dernière modification par TheSun (Le 25/04/2019, à 16:01)

melixgaro

Re : [RESOLU] vitesse transfert anormalement longue

Effectivement, si tu as d'autres problèmes de copie qui surviennent avec différents supports externes, alors il faut continuer à chercher s'il n'y a pas un problème. Je ne suis pas la bonne personne pour le diagnostic des problèmes USB. Attends que LukePerp, TheSun ou d'autres (re)passent par là et donnent des idées.

Pour le passage en ext4 : si tu n'as pas besoin d'une compatibilité windows et si ça n'est pas trop contraignant, alors oui c'est pas plus mal de formater tes disques durs externes en ext4 (ça implique de déplacer temporairement les éventuelles données). Attention, les petites clés usb (4Go, 8Go, 16Go) qui sont utilisées pour du temporaire (échange de fichier) doivent plutôt rester en FAT. Pour la clé de 128Go, je ne sais pas quoi conseiller. Le ext4 et les mémoires de type SSD ne faisaient pas forcément bon ménage au début (regarde la doc et l'option trim). Je ne suis pas très au courant.

---

Linux depuis ~2007. Xubuntu seulement.

TheSun

Re : [RESOLU] vitesse transfert anormalement longue

Nan nan l'ext4 fonctionne super bien sur les SSD, c'est totalement obsolète les histoires de trim pas activé par défaut, ça remonte au tout début des SSD et pas pour tous.

indie

Re : [RESOLU] vitesse transfert anormalement longue

Bonjour à tous,
j'ai pris ma clé USB 3.0 pour faire les tests, en particulier j'ai fait la commande

sudo smartcll -d sat -a /dev/sdb

comme demandé par melixgaro et voici le résultat:

(base) :~$ sudo smartctl -d sat -a /dev/sdb
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.15.0-48-generic] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

Read Device Identity failed: scsi error unsupported scsi opcode

A mandatory SMART command failed: exiting. To continue, add one or more '-T permissive' options.

???

Ce qui est vraiment bizarre c'est que j'utilise la commande rsync pour faire mon backup, et comme je ne modifie pas beaucoup de fichiers ca devrait être rapide, mais elle mouline tous les fichiers... et ca dure...

LukePerp

Re : [RESOLU] vitesse transfert anormalement longue

Peux tu communiquer la taille exacte des dossier à copier, avec une copie d'écran ou une commande au terminal et mesurer avec un chrono la durée de la copie. Fais avec un dossier plus petit, genre 10 Go

Dernière modification par LukePerp (Le 26/04/2019, à 09:57)

---

Gamer inside - Ubuntu Mate dernière LTS - Intel i5, 16 Go - Dual boot Windows - Utilisateur de Dapps sur Ethereum

vercoucas

Re : [RESOLU] vitesse transfert anormalement longue

Bonjour,

Je ne suis pas un expert, mais j'utilise rsync pour faire mes sauvegardes.
Je pense qu'il y a incompatibilité entre l'option " -a " de rsync et le fait de sauvegarder
sur une partition NTFS qui ne conserve pas tous les paramètres des fichiers. Ainsi, à chaque sauvegarde, rsync trouve une différence entre le fichier source et le fichier cible et recopie donc la totalité des 60G au lieu de ne recopier que les modifications effectuées depuis la dernière sauvegarde.
Ceci est indépendant des éventuels problèmes de transmission, mais la quantité transmise en est grandement affectée.

indie

Re : [RESOLU] vitesse transfert anormalement longue

Je viens de refaire ma copie, en ayant reformaté en EXT4, c'est vrai que c'est plus rapide, moins de 2H rapide.
Malheureusement j'ai été interrompu au travail donc je n'ai pas pu chronométrer précisément!
Je dois donc refaire le test avec un dossier plus petit comme suggéré par LukePerp.

Merci vercoucas, je vais essayer sans l'option a.

Voici la fin de ma copie:

sent 51,036,791,738 bytes  received 3,894,487 bytes  7,234,169.97 bytes/sec
total size is 51,218,988,281  speedup is 1.00
rsync warning: some files vanished before they could be transferred (code 24) at main.c(1196) [sender=3.1.2]

Dernière modification par indie (Le 26/04/2019, à 11:35)

indie

Re : [RESOLU] vitesse transfert anormalement longue

vercoucas j'ai essayé sans l'option a mais j'ai un message d'erreur, je dois rajouter l'option r et dans ce cas mes nouveaux fichiers modifiés ne sont pas copiés!

vercoucas

Re : [RESOLU] vitesse transfert anormalement longue

Je pense que le plus efficace est de sauvegarder sur une partition EXT4.
Ainsi la première sauvegarde sera peut-être longue, mais les suivantes seront très nettement abrégées. Ainsi tu peux conserver l'option -a.
De plus tu peux ajouter   --filter "- .Trash/" --filter "- *.tmp" --filter "- lost+found/"
Pour récupérer la sauvegarde sur un PC Windows, il y a toujours la possibilité d'une live install.

indie

Re : [RESOLU] vitesse transfert anormalement longue

C'est bon j'ai trouvé la bonne combinaison et ca ne prend plus que quelques secondes en EXT4:

rsync -avbP --delete-after /home/ .

Ca venait donc du formatage ET des options de la commande rsync