Ubuntu-fr

olivephoto

LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Bonjour à tous,

j'ai un souci avec luckybackup, que j'utilise pour faire mes sauvegardes de fichiers tant sur /home/user (sur partition linux) que sur une partition NTFS partagée avec windows 7.
Pas de souci pour sauvegarder les fichiers depuis la partitions NTFS, que luckybackup copie sur un disque en FAT32 (pour que windows et linux y accèdent sans problème). En revanche, la sauvegarde des fichiers depuis /home/user/<mes sous-dossiers> pose problème dès que ceux-ci comportent des non de caractères ésotériques (accentués, : ;  etc...)

Bien sûr je peux en renommer certains et cela ne posera pas de problème, mais pour d'autres fichiers (de configuration, de data spécifiques à certains logiciels...), cela devient trop compliqué voire impossible car une fois récupérés, ils n'ont plus le même nom et bien sûr si il faut que je retrouve les caractères de départ... sur quelques milliers de fichiers vous comprenez mon embarras !
D'où la question, que d'autres se sont d'ailleurs sûrement posé : Y a t'il un moyen de "contourner" ce problème, au sens où rsync (ou un autre soft) sache comment remplacer ces caractères autant pour la sauvegarde que pour la récupération (dans l'autre sens donc) ? Sinon, quelle solution connaissez vous qui me permettrais de faire mes sauvegardes avec la souplesse et la puissance de rsync, mais sans ce problème de noms de fichier ?

Il y a même peut être un topic sur le sujet que je n'ai pas trouvé ??

Merci par avance pour votre aide.

bonne journée à tous,

Dernière modification par olivephoto (Le 23/03/2015, à 11:49)

Compte anonymisé

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Voir man rsync

--iconv=CONVERT_SPEC
Rsync can convert filenames between character sets using this option. Using a CONVERT_SPEC of "." tells rsync to look up the default character-set via the locale setting. Alternately, you can fully specify what conversion to do by giving a local and a remote charset separated by a comma in the order --iconv=LOCAL,REMOTE, e.g. --iconv=utf8,iso88591. This order ensures that the option will stay the same whether you’re pushing or pulling files. Finally, you can specify either --no-iconv or a CONVERT_SPEC of "-" to turn off any conversion. The default setting of this option is site-specific, and can also be affected via the RSYNC_ICONV environment variable.

Peut--être faire un essai avec l'option --iconv

rsync --iconv=utf8,iso88591   <................>

Liste des codages caractère possibles:

iconv --list

Dernière modification par Compte anonymisé (Le 23/03/2015, à 12:35)

olivephoto

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Je vais regarder cela de plus près et reviens dès que possible. Merci pour ce "tip".

olivephoto

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Hello Philippe,

de retour sur ce problème de sauvegardes rsync... en fait le problème vient de quelque chose de "foireux".
Je m'explique. Je me suis rendu compte que ce n'est pas juste un problème d'accents ou de caractères spéciaux liés au spécification Fr mais juste sur quelques caractères bien spécifiques et qui ne devraient d'ailleurs parfois rien avoir à faire dans des noms de fichiers il me semble !
Ainsi j'ai un certain nombre de fichiers (produit par un jeu donc ce n'est pas bien grave mais tout de même ennuyeux) qui contiennent le caractère #360 (ou quelque chose comme ça) et qui est interprété par rsync comme une retour à la ligne ! D'autres fichiers contiennent le caractère "deux-points : " et ça rsync n'aime pas du tout visiblement.
Mon système est en utf8-fr et cela semble ne pas poser de problème pour le codage "français" pour rsync finalement. Les essais que j'ai donc fait avec --iconv sur d'autres charsets n'ont rien donné de bon sur ce point.
Y a t'il un moyen de demander la conversion d'un caractère en particulier, même au sin d'un même charset ?

Merci pour votre aide !

Compte anonymisé

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Heu, ce serait bien de donner un exemple concret de nom de fichier.

olivephoto

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Hello Philippe,

voila ce que j'ai pas exemple dans le log d'une des tâches de sauvegarde concernées :

rsync: mkstemp "/media/olive/LINUX_DATA/olive/.UGENE_downloaded/.1:235000000-236000000.gb.zMM0sY" failed: Invalid argument (22)
rsync: mkstemp "/media/olive/LINUX_DATA/olive/.UGENE_downloaded/.chr1:235000000-236000000.gb.0zMkc4" failed: Invalid argument (22)

Plus vicieux, celui ci pourrait faire croire que ce sot les caractères accentués qui posent problème :

rsync: mkstemp "/media/olive/LINUX_DATA/olive/Vidéos/.Capture vidéo 2015-04-11 18:28:47.mp4.IRrvWu" failed: Invalid argument (22)

Par contre ces fichiers ne comportent pas de caractère "deux-points - : " dans leur nom et sont sauvegardés malgré les caractères accentués :

olive/Images/Eclispe solaire partielle 20-03-2015 - captures vidéo/Capture du 2015-03-20 105323.png

         32.77K  16%  113.88kB/s    0:00:01 
        193.90K 100%  650.71kB/s    0:00:00 (xfr#365, to-chk=450/6287)

olive/Images/Eclispe solaire partielle 20-03-2015 - captures vidéo/Capture du 2015-03-20 105851.png

         32.77K  17%  109.97kB/s    0:00:01 
        184.72K 100%  611.48kB/s    0:00:00 (xfr#366, to-chk=449/6287)
olive/Images/Eclispe solaire partielle 20-03-2015 - captures vidéo/Capture du 2015-03-20 110850.png

J'ai cependant dû supprimer les ' : ' qui se trouvaient dans les noms des ces fichiers pour que luckybackup parviennent à les sauvegarder.

Donc ma question revient finalement à : comment faire en sorte que ces ' : ' ne fassent pas planter la sauvegarde de ces fichiers ? Mes essais avec --iconv n'ont pas été concluants mais je n'ai peut être pas procédé de la bonne manière ??

Merci encore pour votre aide.

Compte anonymisé

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Déjà, personnellement, je n'utilise jamais d'espace dans les noms de fichiers, pour des raisons pratiques (espace => _ )
Et utiliser " : " dans un nom de fichier, pas top non plus.....
Tu essaies de faire une synchro vers une partition de quel file system  ?
(pour être sûr que tu ne bricoles pas avec du FAT32 ou ntfs).

+ question annexe: pourquoi tu commences tes noms de fichiers par un point ( .Capture vidéo 2015-04-11 18:28:47.mp4.IRrvWu ) et pourquoi un suffixe .IRrvWu après .mp4) / ça fait bricolage tout ça.

+

-s, --protect-args
This option sends all filenames and most options to the remote rsync without allowing the remote shell to interpret them. This means that spaces are not split in names, and any non-wildcard special characters are not translated (such as ~, $, ;, &, etc.). Wildcards are expanded on the remote host by rsync (instead of the shell doing it).

If you use this option with --iconv, the args related to the remote side will also be translated from the local to the remote character-set. The translation happens before wild-cards are expanded. See also the --files-from option. .

Dernière modification par Compte anonymisé (Le 19/04/2015, à 12:41)

olivephoto

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Bonjour Philippe,

je suis désolé pour ce retour très tardif sur mon problème de sauvegarde... j'ai fini par laisser tomber LuckyBackup, n'ayant pas trouvé de vraie solution (autre que la copie brutale... bref). Cependant, voici quelques réponses à tes questions précédentes, si cela peut aider à trouver une solution, ou du moins une alternative convenable.
En fait, les fichiers que je sauvegarde n'ont pas un "pattern" de nom que je leur attribue moi-même, ça serait trop facile ! Bon nombre de fichiers sont des fichiers de config ou de data dans lesquels les espaces et les caractères spéciaux sont inclus sans que j'ai eu le choix de les y mettre ou pas. Ainsi certains fichiers produits par Ugene contiennent les fameux deux-points ":" car ce symbole est utilisé par convention pour séparer divers type de coordonnées (il s'agit de données d'analyse génétique). Comme je le mentionnais plus haut, je ne peux me permettre de changer tous ces caractères cabalistiques à la main, c'est un boulot énorme car il y a beaucoup de fichiers concernés, et il me faudrait en plus mapper les modif manuellement pour ensuite les restaurer en cas de récupération des sauvegardes.
Ensuite, oui je fais une sauvegarde (et non une synchro) sur un disque NTFS. J'ai bien pris garde à le spécifier dans l'onglet "options de commande">la destination est FAT/NTFS. Alors oui, je sais bien que le travail sur une partition NTFS peut parfois poser problème sous linux mais je travaille personnellement sur une partition NTFS partagées entre Ubuntu 14.04 et windows 7 pro, et je n'ai jamais eu aucun souci (mes dossiers firefox, thunderbird et même ma corbeille fonctionne bien sous ubuntu pour cette partition partagée). Je pensais que LuckyBackup serait capable de gérer ces fameux caractères une fois l'option 'FAT/NTFS' activée, mais visiblement non.
Enfin, pour ce qui est des ces ajouts très exotiques après les extensions de certains fichiers (les fameux  .Capture vidéo 2015-04-11 18:28:47.mp4.IRrvWu par exemple) alors là ! Mystère ! Ils ne sont pas de mon fait, je n'ai aucun intérêt à ajouter ce genre de surplus inutile (pour moi) aux nom de fichiers, franchement je ne sais pas d'où ils viennent. Ces ajouts ne sont visibles nulle-part ailleurs, même dans la boîte de propriétés de Nautilus ou après un ls -ll dans la console, je ne les vois pas ailleurs que dans les sorties log de LuckyBackup.
Pour ce qui est des fichiers qui commencent par un point, c'est que j'ai demandé à LuckyBackup de sauvegarder les fichiers cachés, donc commençant avec un point sur mon disque.

Bref, pas sûr que toutes ces infos pourront changer grand chose au problème. Si à tout hasard tu voyais autre chose, je suis bien sûr intéressé

Amicalement,

melixgaro

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

salut,

le problème vient du fait que tu sauvegardes des fichiers depuis une partition ext4 vers une partition NTFS. Tant que les noms de fichiers contiennent des caractères « classiques » ( = acceptés par NTFS et ext4), tout va bien. Mais le ext4 est plus permissif et autorise des fantaisies dans le nommage des fichiers (comme les deux-points) et NTFS proteste.

donc si tu ne veux pas devoir renommer puis re-renommer tes fichiers provenant de la partition ext4, il vaudrait mieux faire une sauvegarde ext4 -> ext4.

ou alors, ceci devrait marcher : tu fais une archive tar (nommée judicieusement) et qui contient les fichiers à problème, archive que tu pourras mettre sur ta partition NTFS sans qu'elle s'en plaigne. par contre tu ne pourras pas la décompresser sur une partition NTFS.

nota 1 : je pense que la chaîne aléatoire en fin de nom de fichier est créée par ton logiciel de sauvegarde, ça ressemble à un fichier temporaire qui est sans doute renommer correctement une fois la copie finie.

nota 2 : en plus en sauvegardant du ext4 vers du NTFS, tu perds toutes les méta-infos de type permissions rwx.

Dernière modification par melixgaro (Le 20/08/2015, à 17:01)

---

Linux depuis ~2007. Xubuntu seulement.

MicP

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Et si, de tous ces fichiers aux noms barbare, tu en faisais un fichier archive (gzip, bzip2, etc.), le problème des noms de fichier ne se poserait plus, ni celui de l'arborescence (au cas où il y aurait des noms de répertoires qui ne passent pas non plus).

EDIT : C'est d'ailleurs ce que propose melixgaro (désolé j'avais pas bien lu ton message)

Dernière modification par MicP (Le 20/08/2015, à 17:17)

melixgaro

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

à MicP
pas de problème ;-)

---

Linux depuis ~2007. Xubuntu seulement.

olivephoto

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Merci à vous 2 pour vous réponses,

oui bien sûr c'est sûrement là qu'est le souci... c'est bien pour cela que je souhaitais savoir si il existait des commandes au niveau de rsync (via luckybacup) pour substituer les caractères "exotiques" des noms de fichiers/dossiers avant la copie sur le support de sauvegarde. La solution de Philippe était très intéressante car en une commande (rsync --iconv) je pensais pouvoir remplacer ces fameux caractères par d'autres plus acceptables... mais visiblement cette commande fonctionne sur les conversions de codages de caractères plus que sur la substitution de caractères spéciaux, donc ça ne me va pas (si j'ai bien compris, comme passer p.ex. de UTF8 à ISO1251 etc etc...).
L'archive oui c'est une option mais pas super pratique. L'intérêt de garder mes 2 partitions ext4 et NTFS venait de ce que mon ordinateur fonctionne en dual boot avec un ubuntu et un windows... La partition NTFS est très pratique pour partager des fichiers entre les 2, mais je sens que ça va pas m'aider. J'ai fini par installer une virtualbox windows sous mon ubuntu, je vais peut être essayer comme ça, même si c'est moins performant sur l'ensemble avec 2 systèmes qui vont ramer un peu plus.

Merci en tout cas pour vos propositions : je vais étudier toutes ces options et voir ce qui me conviendra finalement le mieux.

Amicalement,

melixgaro

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

Selon tes besoins, songe peut-être à passer tes partitions en ext4 au lieu du ntfs, tu gagneras en performance d'écriture depuis ta session linux. Quitte à garder une petite partition ntfs (ou fat) pour l'échange de données windows <-> linux. C'est à toi de voir évidemment. (remarque : si tu le fais, il te faudra reformater ton DDE, donc déplacer les données actuellement présentes ailleurs).

bon courage !

---

Linux depuis ~2007. Xubuntu seulement.

olivephoto

Re : LuckyBackup et noms de fichiers avec caractères invalides pour rsync

oui melixgaro, c'est peut être comme cela que je vais finalement voir les choses. Il me faut juste vérifier que mon option vbox est suffisante pour l'usage que je souhaite avoir de windows.

Merci encore pour vos conseils.