[resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

fouduroi · Le 17/01/2013, à 11:59

salut les gens,
j'ai une carte d’acquisition "blackmagic HD"
qui a besoin d'une vitesse d’écriture sur disque de environ 150 mo/s ( vidéo HD non compressée et son pcm)
j'ai vu sur plusieurs forum qu'il valait mieux un RAID pour que ça tourne a l'aise,

j'ai 2 DD de 1To 7200 t/m

mes questions?
quel type de RAID installer et quelle est la meilleure méthode?
faut-il que j'installe ubuntu 12.10) sur le RAID (pour plus de rapidité)
ou je le laisse sur une autre partition?

ps: les 2 DD ne serviront que pour faire l’acquisition (+ install ubuntu si nécessaire)
un film de 2h ayant besoin de environ 800 Go

Dernière modification par fouduroi (Le 17/01/2013, à 21:41)

tiramiseb · Le 17/01/2013, à 12:34

Le seul RAID qui accélérera les choses est le RAID 0 (striping).

En gros, avec le RAID 0, le logiciel écrit les données alternativement sur chacun des disques. D'où la vitesse plus rapide : sans atteindre la vitesse cumulée des deux disques, il est possible d'écrire les données à une vitesse plus rapide que la vitesse nominale du disque.

Tous les autres modes font soit de la duplication de données soit du calcul de CRC, alors ça risque d'être plus lent.

Il n'y a pas besoin que le système lui-même soit dans le volume en RAID : ton besoin est que les *données* s'écrivent très vite, les logiciels en eux-mêmes auront été chargés en mémoire vive et il n'y aura (presque) pas de lecture ou d'écriture sur le système. D'ailleurs il est même préférable que le système Ubuntu soit sur un autre disque, comme ça ta grappe RAID "rapide" est dédiée à tes données et uniquement à elles : si ton système se met à lire ou à écrire sur tes partitions système, ça ne ralentira pas le transfert des données.

(tout cela est théorique bien sûr, il y a différents paramètres qui entrent en jeu, genre la bande passante du contrôleur de disque, etc, mais je préfère rester simple pour ne pas t'embrouiller l'esprit)

Haleth · Le 17/01/2013, à 13:26

Tu veux écrire le truc en temps réel ?
J'ai pas compris le but de la manip, mails il serait bon de pipe le flux directement dans un encodeur de qualité, et de ne stocker que les 2-3 Go de films.

tiramiseb · Le 17/01/2013, à 13:27

il serait bon de pipe le flux directement dans un encodeur de qualité, et de ne stocker que les 2-3 Go de films.

Et s'il veut travailler sur la vidéo non encodée non compressée pour avoir la meilleure qualité possible ?

Haleth · Le 17/01/2013, à 14:20

Évidement, tout dépend de l'objectif.
Si l'idée est d'attendre moins longtemps, alors oui, raid0
Si tu as besoin au minimum de 150Mb/s, chaque seconde, pour faire du temps réel par exemple, je suis pas sur qu'un raid 0 sera suffisant, avec tes disques.

tiramiseb · Le 17/01/2013, à 14:22

C'est vrai que 150 Mo/s c'est énorme comme débit...

Il faut déjà voir quelle est leur vitesse sans RAID...

fouduroi · Le 17/01/2013, à 15:03

salut tout le monde et merci de votre intérêt!
pour vous répondre un peu dans le désordre
- 1disque seul a un débit en écriture de environ 120 Mo/s je l'ai testé
- oui je veux du flux non compressé car de l'encodage a la volée en 1920x1080 demanderais la puissance de au moins 2 pc's comme le mien
et en plus avidemux préfère du non compressé ( ensuite je stocke en mkv x264

donc si il me faut un RAID 0 pouvez vous m'indiquer un tuto simple
ou m'expliquer comment les installer

tiramiseb · Le 17/01/2013, à 15:08

http://doc.ubuntu-fr.org/raid_logiciel

Haleth · Le 17/01/2013, à 15:09

Utilise mdadm

fouduroi · Le 17/01/2013, à 21:44

raid 0 monté
acquisition nickel
doc suivie a la lettre sans problèmes!

merci a vous

tiramiseb · Le 18/01/2013, à 09:49

Juste par curiosité, tu atteins quel débit d'écriture en RAID 0 ?

fouduroi · Le 18/01/2013, à 11:53

je sais pas, tu connais une commande ou un utilitaire pour calculer?

quand j'avais testé mon 1er DD (un des deux du RAID) je l'avais mis en ntfs et l'avais testé sous Windows
car le logiciel de la carte (blackmagic) possède un test de DD mais uniquement sur pc et mac.

ps: hors sujet, connais tu un utilitaire qui permet de calculer la puissance d'alim nécessaire
vu le matériel installé dans une tour et existe-t-il une alarme ou une coupure en cas de surchauffe?
parce que a force d'en rajouter je m’inquiète un poil

Haleth · Le 18/01/2013, à 11:57

je sais pas, tu connais une commande ou un utilitaire pour calculer?

iotop

tiramiseb · Le 18/01/2013, à 12:03

Tu peux utiliser dd pour copier à partir de "rien du tout" (/dev/zero) vers un fichier du volume en question :

dd if=/dev/zero of=/point/de/montage/du/volume/raid/fichier.out bs=8k count=256k

Tu peux jouer sur les paramètres "bs" (block size, nombre d'octets d'un bloc) et "count" (nombre de blocs à copier) pour voir si tu as une amélioration (genre écrire par blocs de 1M au lieu de 8k, mais dans ce cas je te conseille de réduire "count" aussi car 256000 blocs de 1 Mo ça fait beaucoup).

Cette commande donne la vitesse d'écriture comme résultat.

Exemple sur mon PC :

sebastien@cao:~/Code/ospfm$ dd if=/dev/zero of=/home/sebastien/output.img bs=8k count=256k
262144+0 enregistrements lus
262144+0 enregistrements écrits
2147483648 octets (2,1 GB) copiés, 28,8629 s, 74,4 MB/s

ps: hors sujet, connais tu un utilitaire qui permet de calculer la puissance d'alim nécessaire

Non, désolé.

existe-t-il une alarme ou une coupure en cas de surchauffe

Si ton processeur chauffe trop, il s'arrête avant de mourir - enfin les processeurs récents font ça normalement.
Sinon c'est à toi de vérifier la température interne de ton ordinateur si tu as des craintes. Mais ça fait des années que je ne me suis pas penché sur ce sujet, je me rappelle juste du terme "lm_sensors" : si j'avais à vérifier la température je chercherais "lm_sensors" sur Google et essaierais de me rappeler comment faire

parce que a force d'en rajouter je m’inquiète un poil

Quelle est la puissance de ton alimentation ?
Quel matériel as-tu dans ton ordinateur (cartes, disques, etc) ?
Combien de ventilateurs y a-t-il dans ton ordinateur ?

tiramiseb · Le 18/01/2013, à 12:05

Haleth a écrit :

iotop

Avec iotop tu peux voir l'utilisation *actuelle* de ton disque dur (et plein d'autres choses intéressantes). Ce qui montrera le maximum si tu es en train de faire un transfert au débit maximum (ce qui n'est pas certain)

Haleth · Le 18/01/2013, à 12:11

J'ai test avec dd, du coup, c'est limite dément:

1% [jack:~]dd if=/dev/zero of=output.img bs=8k count=256k
262144+0 enregistrements lus
262144+0 enregistrements écrits
2147483648 octets (2,1 GB) copiés, 14,4546 s, 149 MB/s
15% [jack:~]dd if=/dev/zero of=output.img bs=8k count=512k
524288+0 enregistrements lus
524288+0 enregistrements écrits
4294967296 octets (4,3 GB) copiés, 33,197 s, 129 MB/s

Rocks le PC du boulot!

Pourtant, le disque semble lambda:

           *-disk
                description: ATA Disk
                produit: ST500DM002-1BD14
                fabriquant: Seagate
                identifiant matériel: 0
                information bus: scsi@0:0.0.0
                nom logique: /dev/sda
                version: KC45
                numéro de série: Z3T1K2MR
                taille: 465GiB (500GB)
                fonctionnalités: partitioned partitioned:dos
                configuration: ansiversion=5 signature=a0233509

J'imagine que y'a des opti vis-à-vis de certains trucs, m'enfin.

tiramiseb · Le 18/01/2013, à 12:21

Haleth a écrit :

Pourtant, le disque semble lambda:

           *-disk
                description: ATA Disk
                produit: ST500DM002-1BD14

Une petite recherche sur Google :
> Seagate Barracuda ST500DM002 500GB 7200 RPM 16MB Cache SATA 6.0Gb/s

De mon côté, pour obtenir 74 Mo/s j'ai un "Seagate Barracuda 7200.9 SATA NCQ 3Gb/s - 160 Go 7200 RPM 8 Mo Serial ATA II "

Tu as un disque avec le double de cache et le double de bande passante maxi, tu obtiens le double de débit... Ça me semble pas déconnant.

Après il y a en effet peut-être des optimisations, surtout que là on n'écrit que des zéros...

On peut aussi faire la commande suivante pour prendre des nombres aléatoires, mais là c'est le processeur qui limite (génération des nombres aléatoires) :

sebastien@cao:~$ dd if=/dev/urandom of=/home/sebastien/output.img bs=8k count=25k
25600+0 enregistrements lus
25600+0 enregistrements écrits
209715200 octets (210 MB) copiés, 18,0295 s, 11,6 MB/s

Sinon, il est possible de copier à partir du contenu de la mémoire (qui est moins aléatoire que /dev/urandom mais moins homogène que /dev/zero), mais je ne sais pas à quel point le reste du matériel peut limiter le transfert dans ce cas :

sebastien@cao:~$ sudo dd if=/proc/kcore of=/home/sebastien/output.img bs=8k count=50k
51200+0 enregistrements lus
51200+0 enregistrements écrits
419430400 octets (419 MB) copiés, 6,79021 s, 61,8 MB/s

Dernière modification par tiramiseb (Le 18/01/2013, à 12:21)

fouduroi · Le 19/01/2013, à 02:46

alain@alain-System-Product-Name:~$ sudo hdparm -tT /dev/md127

/dev/md127:
 Timing cached reads:   16876 MB in  2.00 seconds = 8445.13 MB/sec
 Timing buffered disk reads: 668 MB in  3.00 seconds = 222.60 MB/sec
alain@alain-System-Product-Name:~$ sudo hdparm -tT /dev/md127

/dev/md127:
 Timing cached reads:   17648 MB in  2.00 seconds = 8831.75 MB/sec
 Timing buffered disk reads: 674 MB in  3.00 seconds = 224.57 MB/sec
alain@alain-System-Product-Name:~$ sudo hdparm -t -T /dev/md127
/dev/md127:
 Timing cached reads:   16708 MB in  2.00 seconds = 8365.43 MB/sec
 Timing buffered disk reads: 676 MB in  3.01 seconds = 224.68 MB/sec
alain@alain-System-Product-Name:~$ sudo cat /dev/md127 | pv -r > /dev/null[ 191MB/s]
[ 244MB/s]
[ 234MB/s]
[ 215MB/s]
[ 197MB/s]

j'arrive pas a faire la commande avec "dd"!

tiramiseb · Le 19/01/2013, à 07:47

Ça veut dire quoi tu arrives pas ?

Tu n'as qu'à recopier la commande que j'ai donnée en changeant simplement le fichier destination...

fouduroi · Le 19/01/2013, à 09:12

justement, si je mets /dev/md127/fichier.out ou /media/alain/capture HD/fichier.out
cela ne marche pas!

tiramiseb · Le 19/01/2013, à 09:14

Le bon est /media[...].
Il y a une espace, alors il faut mettre des guillemets autour du nom de fichier. (Sinon le système croit que c'est un autre argument à partir de "HD")

dd if=/dev/zero of="/media/alain/capture HD/fichier.out" bs=8k count=256k
sudo dd if=/proc/kcore of="/media/alain/capture HD/fichier.out" bs=8k count=256k

PS : Le répertoire /media est dédié aux points de montage vers les disques amovibles. Par souci de cohérence, si tu la laisses tout le temps montée, il est préférable de mettre ta grappe RAID ailleurs (directement sous ton /home/alain d'ailleurs, ça te simplifierait la vie - par exemple dans "/home/alain/capture HD" tout simplement). Mais bon ce n'est pas un aspect critique, ça ne casse rien en laissant comme ça.

Dernière modification par tiramiseb (Le 19/01/2013, à 10:11)

fouduroi · Le 20/01/2013, à 11:35

voila

alain@alain-System-Product-Name:~$ dd if=/dev/zero of="/media/alain/capture HD/output.img" bs=8k count=256k
262144+0 enregistrements lus
262144+0 enregistrements écrits
2147483648 octets (2,1 GB) copiés, 10,1628 s, 211 MB/s
alain@alain-System-Product-Name:~$ dd if=/dev/zero of="/media/alain/capture HD/output.img" bs=8k count=512k
524288+0 enregistrements lus
524288+0 enregistrements écrits
4294967296 octets (4,3 GB) copiés, 21,3052 s, 202 MB/s
alain@alain-System-Product-Name:~$ dd if=/dev/zero of="/media/alain/capture HD/output.img" bs=1M count=64k
65536+0 enregistrements lus
65536+0 enregistrements écrits
68719476736 octets (69 GB) copiés, 392,263 s, 175 MB/s
alain@alain-System-Product-Name:~$

tiramiseb · Le 20/01/2013, à 13:58

175Mo/s - 210 Mo/s... je ne pensais pas que le RAID0 améliorait tellement la performance en écriture... ça te fait du 46 - 75 % de gain, quand même... et le triple de mon pauvre disque de 2005

Dernière modification par tiramiseb (Le 20/01/2013, à 13:59)

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 17/01/2013, à 11:59

[resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#2 Le 17/01/2013, à 12:34

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#3 Le 17/01/2013, à 13:26

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#4 Le 17/01/2013, à 13:27

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#5 Le 17/01/2013, à 14:20

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#6 Le 17/01/2013, à 14:22

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#7 Le 17/01/2013, à 15:03

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#8 Le 17/01/2013, à 15:08

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#9 Le 17/01/2013, à 15:09

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#10 Le 17/01/2013, à 21:44

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#11 Le 18/01/2013, à 09:49

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#12 Le 18/01/2013, à 11:53

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#13 Le 18/01/2013, à 11:57

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#14 Le 18/01/2013, à 12:03

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#15 Le 18/01/2013, à 12:05

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#16 Le 18/01/2013, à 12:11

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#17 Le 18/01/2013, à 12:21

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#18 Le 19/01/2013, à 02:46

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#19 Le 19/01/2013, à 07:47

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#20 Le 19/01/2013, à 09:12

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#21 Le 19/01/2013, à 09:14

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#22 Le 20/01/2013, à 11:35

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

#23 Le 20/01/2013, à 13:58

Re : [resolu] vitesse ecriture (150 mo/s) pour video HD, quel RAID choisir

Pied de page des forums