Ubuntu-fr

Giants92

LTO sur linux

Bonjour !

J'ai un petit soucis de restauration.
Il y a quelques temps j'ai effectuée une sauvegarde sur bande via une distrib linux le tout sur mon lecteur lto3.
Le lecteur est externe, il est connecté seul sur la carte scsi
le tout est bien vue pas l'OS

[root@centos giants]# lsscsi
[1:0:0:0]    disk    ATA      ST3160813AS      CC2J  /dev/sda
[14:0:6:0]   tape    IBM      ULTRIUM-TD3      6B20 /dev/st0

# mt -f /dev/st0 status
SCSI 2 tape drive:
File number=0, block number=0, partition=0.
Tape block size 0 bytes. Density code 0x44 (LTO-3).
Soft error count since last status=0
General status bits on (41010000):
BOT ONLINE IM_REP_EN

A l'époque ca a été sauvé sur 2 bandes, je ne me rappel plus du tout ce que j'ai utilisé commande ligne de commande (pas de soft c'est sur).
On passe en scsi 2, sinon la commande tell ne fonctionnera pas.
#mt -f /dev/nst0 stsetoptions scsi2logical

Et regarde la bande 2

#mt -f /dev/st0 rewind
#mt -f /dev/st0 tell
At block 0.

#restore -i -f /dev/st0
restore: Tape is not volume 1 of the dump

Ok, logique, on rembobine, on eject et on insere la bande n°1
#mt -f /dev/st0 rewind ; mt -f /dev/st0 off

#mt -f /dev/st0 tell
At block 0.

#restore -i -f /dev/st0
restore: Tape read error on first record

Hum, hum, on test avec du tar et du gunzip
#tar -xzf /dev/st0

gzip: stdin: unexpected end of file
tar: Child returned status 1
tar: Error is not recoverable: exiting now

On test sans gunzip
# tar -xf /dev/st0
tar: This does not look like a tar archive
tar: Exiting with failure status due to previous errors

Franchement, j'y compris plus rien sur cette bande...
On regarde de plus pret.

#mt -f /dev/st0 rewind
Et comme ca à été crée sur un autre system, on modifie quelques parametres.
#mt -f /dev/nst0 setblk 28800
#dd if=/dev/nst0 of=file.fits bs=28800 conv=noerror,sync
0+0 records in
0+0 records out
0 bytes (0 B) copied, 0.0115665 s, 0.0 kB/s

Bon, again -_-'
#dd if=/dev/nst0 of=file.fits bs=28800 conv=noerror,sync
Control-C au bout de quelques secondes

#file file.fits
file.fits: tar archive

Bon c'est du tar bordel de merde...
Bon on va le faire à l’arrache, Dump de la bande avec la commande DD
puis ensuite un gros tar xvf de celui-ci qui me fera surrement une erreur vue que la taille du tar créer ne sera pas bonne
MAIS, on sans fiche.

Franchement... vive les sauvegardes sur bande, Que des emmerdes sur des petits systemes.

Dernière modification par Giants92 (Le 27/12/2014, à 21:44)

Giants92

Re : LTO sur linux

Bon...

2eme bande est au format restore/dump
1er bande est au format tar

y'a comment dire... un bins dans le potage, je pense que la premier bande a été ecrasé, du moins, a son début.
Alros il y a des sociétés qui récupére ça mais alors a quel prix...

credenhill

Re : LTO sur linux

hello
si un tar a écrasé les données d'une bande dump en écrivant par  dessus, je ne pense pas qu'on puisse récupérer le dump

Giants92

Re : LTO sur linux

Blup !

oui et non.
Oui si on a écrasé complétement le précédent enregistrement c'est très compliqué de récupérer l'ancien.
Il faut descendre très bas au niveau même de la surface magnétique.
En effet même un bit effacé ne revient pas a son état initial mai garde une sorte d'empreinte du précédent signal.
Mais la on parle de micron et la technique utilisé dépasse de loin ma faible bourse.

Non car je n'ai effacé que le début de ma bande
De mémoire une bande lto3 fait dans les 700m pour 400Giga de donnée non compressé
Ce que j'ai enregistré dessus visiblement ne fait même pas 100Ko, tout le reste de la bande est 'normalement' intacte.

Après... comme c'est 'indexé', le précédent enregistrement n'existe plus du coup.
Il faut du materiel spécifique pour faire un dump 'bas niveau' de la bande et ensuite aller regarder dedans avec des outils plus... standard diront non.

Mais je n'ai pas connaissance que ce genre de soft existe dans le domaine de la vente au particulier, seul les sociétés le propose.
Je suis en contact avec l'une d'elle, on verra bien !

minusculetit

Re : LTO sur linux

testdisk ne peut pas résoudre ton problème ?...

Giants92

Re : LTO sur linux

Non, ce genre de soft est utile récupérer une partition détruite par exemple et photorec les données qui sont/étaient dessus.
Ca ne gère pas les bandes mémoires.
On ne gère pas les bandes mémoire comme un disque dur.

Pour faire simple, c'est la merde les bandes
Mais bon, qu'on est pas pro et qu'on a pas le budget pro MAIS que l'on doit faire des backup de tera.... pas trop le choix.

robindesbois

Re : LTO sur linux

Bonsoir !

Je suis embêté pour vous, j'ai lu le sujet et je crois comprendre que la bande effacée (réécrite un peu plutôt) l'a été par l'action humaine (comme c'est souvent le cas à notre grand dam), je ne saurai trop vous conseiller de prévenir la personne qui en est responsable de revoir son protocole d'utilisation de celles-ci.

En effet, ces bandes bien que très pratiques, voir indispensables, sont à manipuler avec un certain protocole, il me vient en tête :

_utilisation méticuleuse (on les tiens bien en main, on ne force pas la cassette dans le lecteur)
_dans ce même ordre d'idée, on ne tire pas dessus fortement pour l'aider à s'ejecter.
_on ne stock pas celles-ci proche de source de chaleur
_on ne les stock pas non plus en endroit humide
_on évite également les changements trop rapides de températures
_on identifie parfaitement les cassettes "à réutiliser dans quelques minutes" et celles à stocker que l'on vient de remplir
_on utilise le bouton de protection contre l'écriture, s'il y a, en cas d'insersion pour lecture seule
_des cassettes aux étiquettes claires, écrites au bic ou marqueur en majuscules sur tous les mots (questions de lisibilité pour les copains qui vont devoir les utiliser après nous).
_enfin on relis les modes d'emploi des lecteurs et cassettes si on en ressent le besoin, là c'est vraiment facultatif si on a tout assimilé depuis longtemps.

Je ne vois pas d'autres conseils, juste une remarque, j'ai vu grâce à votre problème, une promo sur un lecteur HP de cassette au format RDX à 122 euros sur un site spécialisé, bon courage pour la récup, même si le problème se présente mal, car apparemment pour une récup pro il faut un matériel complètement différent des lecteurs dont vous parlez, c'est juste dommage.

Dernière modification par robindesbois (Le 29/12/2014, à 01:21)

Giants92

Re : LTO sur linux

Rdx ?
Je ne connaissait pas ce format de bande.

Apparemment le lecteur est Très accessible au niveau prix par rapport à un lecteur LTO
par contre, il se rattrape sur le prix des cartouches... la vache, c'est pratiquement le prix du lecteur.
La connectique USB par contre est un plus pour une utilisation en 'mode Intel'.

Oui, la lecture en bas niveau n'est pas accessible sur une bande comme sur un lecteur.
Il me semble que le couple dump/restore sauve pas des fichiers mais un ensemble de donnée, une sorte d'image d'un FS
Le dumper puis utiliser un soft ensuite comme photorec serait une solution mais... il faudrait déja le dumper et ca...

robindesbois

Re : LTO sur linux

Bonjour Giants92, bonjour la room.

Oui c'est le problème, et c'est donc le point à ne pas atteindre en utilisation de ce type de stockage malheureusement. Effectivement, le prix des cartouches atteint facilement le prix du lecteur.

Ici on a la promo du lecteur :

http://www.inmac-wstore.com/produits/p2 … sb-3-0.htm

Ici la promo du 1 To (compressé) e, cassette :

http://www.inmac-wstore.com/produits/p2 … 500-go.htm

Je cherche à savoir depuis hier comment fait-on pour indiquer que l'on veut utiliser la compression et donc atteindre le To, mais je ne trouve pas, si vous avez des infos je prends. Sinon je contacterai le vendeur. Le format USB est terriblement attractif, on peut voir que le lecteur dont je donne le lien au dessus fonctionne sous Linux ou Windows, et d'après ce que j'ai lu hier, en simple copié-collé, on branche, on stocke... Quelle que soit la plateforme, ça serait donc reconnu donc comme un clé USB ou un disque, mais bon, contacter le vendeur avant achat n'est pas coûtant, et ça peut mieux renseigner que ce que je suis en train de penser comprendre. Il faut voir assui d'autres points car d'après la doc, le bouton "éjecter" peut avoir du mal à fonctionner si l'on a pas installé le soft fourni par HP, qui n'est installable que pour un PC sous Windows, ça fait donc le "contact" avec l'acheteur obligatoire avant l'achat. Mais si tout est Ok selon lui, alors effectivement, en cas de panne du lecteur, ça ne coûtera pas 1200 euros à remplacer, à savoir que ce lecteur HP RDX en promo est soumis à des normes de fabrications, et qu'il est testé pour 500 000 heures de fonctionnement il me semble, donc on a des points négatifs à vérifier et des points positifs déjà éclaircis.

Dites-nous un jour si vous avez résolu votre problème svp ?

Giants92

Re : LTO sur linux

Vip, je mettrais à jour le thread.

Sous windows Auune idée
Si c'est sous Aix, j'aurais tendance à dire un lsdev ou un lsattr
Si sous linux un mt status devrais déja donnér pas mal d'info
Après, selon le lecteur, on active la compression via H/W (un dip switch) ou software (une variable à seter).

Perso la compression H/W.... pas confiance, je prefere utiliser quelque chose que je comprends et maitrise comme un tar, gunzip ou autre
Ca me permet d'être sur que CE jour, j'ai compressé avec X METHODE dans CETTE version
La compression H/W... c'est un peu la boite noir.

De plus, pas de magie, si vous sauvez des choses déjà compressé comme des jpg ou zip, pas de compression.

Après, vue le prix des disque dur, est t'il encore bien utile de nos jour de passer pas des bandes...That is the question.

Par exemple j'ai travaillé dernièrement pour le Credit Agricole et l'on est passé au VTL
(gros serveur qui fait croire qui sauve sur bande mais en faite sauve sur disque dur)

robindesbois

Re : LTO sur linux

Ok merci de toutes ces infos tirées de votre expérience perso, ça me renseigne très bien, notamment sur la compression et l'éventuel dip switch. Je suis intéressé mais par les bande pas pour de la simple sauvegarde, c'est pour de l'archivage sur très longue période, et là la bande me serait obligatoire malheureusement. C'est un très bon sujet, très pointu, merci d'être passé par ici dans tous les cas, j'ai failli avoir une attaque quand j'ai vu le sprix des récents LTO soit dit au passage. j'ai appris également que Google faisait ses sauvegardes sur bande et que lors d'un crash dû à une mise à jour sur leur pateforme gmail, ils avaient eu de sacrés soucis, et s'ils n'avaient pas toutes les données utilisateurs faîtes sur sur bandes en prévoyance, ils auraient été bien ennuyés(la mise à jour avait shunté toutes les données des disques de pas mal de serveurs à travers le monde, pour vous dire l'étendu du bug et la complexité de leur structure), et les utilisateurs allaient subir le même sort, mais grâce aux bandes (et aux robots qui les gèrent, ils ont eu assez vite fait de rétablir leur base de données utilisateurs, plus facilement et plus rapidement peut-être que de devoir faire un photorec). Cela dit, eux, la compression, pour ce type de données texte (email), ça doit leur faire des grosses économies en terme de bandes consommées, enfin voilà, bonne chance.

Giants92

Re : LTO sur linux

Pour de l'archivage on a pas fait mieux que la bande.
Néanmoins, il faut obligatoirement qu'elles soient bien stocké.

Un autre exemple de société, une branche direct de l'état d'ailleurs que je ne nommerais pas par soucis de confidentialité.
Serveur sous AIX, plus d'admin pour gerer les serveur, uniquement un DBA oracle
Une floppé de bande de sauvegarde le tout stocké a l'entrée de la salle machine ou il y a ... une fuite d'eau (si si)
Ca pue (il n'y a pas d'autre mot) l'humidité juste avant d'entrée dans la salle machine
Quand à la fuite d'eau, elle venait d'une clim 'kiloutou' posé a coté qui visiblement était la depuis fort longtemps.

Bref, toutes les bandes a coté, et dieux sais qu'ils y en avait était exposé à l’humidité et ca, tout le monde s'en fichait.
C'est hélas assez légion quand il n'y a plus de personne type Admin qui gére ca.
Stocké c'est bien mais bien le stocké physiquement c'est bien aussi

robindesbois

Re : LTO sur linux

C'est le principe de l'archivage. Il y a eu une émission sur France5 il y a quelques jours qui en parlait, mais pas de l'archivage sur bandes informatique, l'émission était sur l'archivage de documents historiques, si je retrouve le lien je vous conseille cette émission, il y a une surprise sur les Rois mérovingiens et l'utilisation de leurs sceaux, c'était hallucinant. Ho je n'ai plus le temps, je dois y aller, je repasse après...

robindesbois

Re : LTO sur linux

Voilà c'est cette émission qui traite de l'importance du lieu de stockage dans un archivage, mais là on est sur un archivage poussé à l'extrême(l'émission est disponnible encore un seul jour sur l'interface télé du décodeur, mais peut-être plus longtemps sur le site qu suit), archivage qui ne porte donc pas sur les bandes magnétiques, désolé pour l'éventuel hors sujet :

http://pluzz.francetv.fr/videos/les_tre … nales.html

Giants92

Re : LTO sur linux

Pas de soucis, moi moi on est tjs dans le sujet !
Oui le slecteur LTO sot,n assez chere à l'achat.
Là où il est possible et assez simple de faire une affaire c'est du coté d'ebay et des broquer (ca s'écrit comme ca ?)
Perso j'ai du toucher le miens (LTO3) à 150€

Après les bandes ca reste accessible.

robindesbois

Re : LTO sur linux

Oui pas cher à 150 euros pour du lto3, j'ai parcouru ebay hier, mais ceux présentés ne m'ont pas inspirés. Je n'ai vu qu'une seule entrerpise dans laquelle j'ai travaillé jadis, qui bossait avec de la bande, Ikea. Ils n'ont donc pas tout de fourni en "kit" ?? !

Giants92

Re : LTO sur linux

Pour un lecteur lto sur zebay il ne faut pas cherche que en france et regarde aussi les packs 'serveur'
on trouve par exemple des serveur avec un ou deux lecteur lto3 à 400€, Ce qui est une superbe affaire.

Je viens de regarder et on en trouve facilement au UK à environ 100€, frais de port inclus.

robindesbois

Re : LTO sur linux

Intéressant, je n'avais pas pensé aux serveurs lto, merci beaucoup, j'y retourne !

Giants92

Re : LTO sur linux

Je viens de regarder un peu plus la techno DRX ou RDX selon le nommage Français/anglais.
En fait il ne s'agit pas de bande mais d'un systeme qui s'apparente à un disque dur
ce qui explique que le lecteur ne coute pas grand chose et que les 'tape' eux coutent un max.

Le grand avantage c'est comme dit précédemment c'est en général en USB, pas besoin de carte SCSI
Normalement ca fonctionne comme un dur et pas comme une bande au niveau gestion des données.

Mais les deux gros défauts que je lui trouvent sont :
- C'est donnée pour 10 ans alors que le LTO est donnée pour 30 ans... 10ans ca passe vite et 10 ans c'est pas énorme pour du stockage et c'est vendu pour ca donc bof...
- Pourquoi dans ce cas ne pas utilisé de techno disque dur ? vue que c'est sensiblement la même chose (Le disque dur vie moins longtemps c'est vrai.) à part... le prix. DD Moins chère.

Pour moi c'est une techno qui ne va être que 'de passage' à cause de son rapport prix/garantie durée de stockage par rapport a ce qui existe sur le marché LTO and CO et DD
Je pense que ce n'est pas logique d'utiliser une techno de 'plateau' pour du 'stockage' car ce n'est une solution pérenne.
Ceci c'est un bon compromis pour des tres petites sociétés qui veulent stocké sur moins de 10 ans.

Évidement, je ne suis pas expert sur ce sujet, ce n'est que mon avis après quelques recherches et prise d'info

Giants92

Re : LTO sur linux

Tiens au passage, j'ai une cartouche de LTO4 neuve
Je n'ai pas de lecteur LTO4 donc elle ne m'est d'aucune utilité à part prendre la poussière.
Je veux bien l'échanger contre une cartouche de LTO3 même déja utilisé (tant qu'elle fonctionne)

robindesbois

Re : LTO sur linux

Bonne chance pour l'échange, ce sera peut-être pour ce début d'année. Et merci pour les infos sur le temps d'archivage différent qu'offrent les technologies différentes (LTO et RDX),  Beaunes à Nez (le détournement des voeux de l'alccolique pfff !) @+

Giants92

Re : LTO sur linux

Blup !

Alors pour Info et je n'ai aucune affiliation avec eux, Ontrack à répondu à mon mail.
Ils font ce genre de récupération, par contre... ouille...

>>...le coût d’analyse est de 300€ par bande et la récupération est entre 1000 € et 2000 € par bande, suivant la complexité de la récupération.

Je trouve ça assez excessif pour une bande ou il n'y aura AUCUN geste mécanique à faire (pas de passage en salle blanche).
Ca fait chere pour tapez sur un clavier...

robindesbois

Re : LTO sur linux

Wo bon Dieu ! Pas intérêt à reproduire la boulette (ni à la fumer pendant un choix de cassette de sauvegarde quand on s'apprête à passer à l'action )

Si je peux demander encore une chose svp, si je sauvegarde un disque sur bande, sans compression, avec un copié-collé (je pense prendre le modèle USB, RDX sur 10 ans est suffisant pour mon utilisation), est-ce que en mode lecture on peut accéder à nos dossiers et ne prendre que le dossier qui nous intéresse sur une bande (afin de le copier sur un disque dur) svp ?

Dernière modification par robindesbois (Le 31/12/2014, à 12:13)

Giants92

Re : LTO sur linux

Ca fait mal hein ?
En utilisant photorec j'ai reussi à extraire une tonne de fichier Brut du disque dur qui est la source de mes problemes (la source de la sauvegarde sur bande)
Disque qui a aussi rendu l’âme (merci seagate).
Après c'est une histoire de bidouille à base de exifftool, grep, hawk and co
J'ai rattrapé et trier 12Giga d'images, c'est déja ça.

Pour la question RDX, aucune idée sur ce genre de périphérique.
C'est ce que j'appel un hybride, faudrait regarder les vidéos sur le net pour se donner une idée réel de l'utilisation réel (et pas la doc en ligne)

Sur un disque dur, si on veux accéder à une donnée (directory ou file), on regarde une table sur le FS, qui indique où se trouve la donnée, la tête ensuite se déplace et la lecture se fait directement. (pour faire simple)
Sur une bande, il n'y a pas de mystère, il faut dérouler jusqu’à arriver au data désiré.
Peu importe le choix hardware, on peu toujours extraire ce que l'on veux (et que), après c'est juste une question d’accès direct ou pas

Soit on y accède directement (systeme de tête qui se déplace sur un plateau bref, disque dur, soit une bande magnétique qui se déroule avec une tête magnétique fixe)
En général on utilise des logiciels de sauvegarde qui crée une base de donnée pour dire où se trouve tel data (exe : TSM).

Il existe 'quelques' softs sur linux (bacula... pour ne citer que lui), perso j'en ai essayé environ 4... bein... bof bof, ca vaut pas TSM

Donc pour le RDX, aucune idée.
Soit ca va fonctionner comme un disque dur (accès direct à la data)
Soit ca va être un truc hybride à la con

Faut voir, je vais essayer de prendre des infos histoires d'être moi bête sur le sujet

robindesbois

Re : LTO sur linux

Merci pour ton aide en tous cas, et 12 go de photos récup c'est pas mal en effet, bon courage pour la suite, avant achat je vais aussi me renseigner, à toute