Découvrez le Petarack
Nous savons tous ce qu’est un mégaoctet ou un gigaoctet. Même les téraoctets ont récemment intégré notre vocabulaire. Mais il est très probable qu’un bon nombre de passionnés ne se soit pas encore fait au concept de pétaoctet.
Un pétaoctet, c’est un millier de téraoctets, soit suffisamment d’espace pour environ 20 000 films en Blu-ray. Bien que nous ne soyons pas prêts de voir des pétaoctets de données dans un contexte de bureau, une compagnie appelée Aberdeen a proposé de nous envoyer leur création, plutôt réservée au monde des affaires, capable de supporter déjà plus d’un pétaoctet de données, moyennant un joli demi-million de dollars (≈ 380 000 euros). Nous avons d’abord pensé prendre cette compagnie au mot, mais nous avons finalement jugé qu’il n’y avait aucun moyen pour nous de mettre son matériel à l’épreuve compte tenu de l’équipement dont nous disposons dans notre labo de Bakersfield. Nous avons donc recueilli plus d’informations auprès d’Aberdeen et avons examiné de près de son invention.
Précisément, qu’implique la création d’un pétaoctet de stockage, et qu’avons-nous pour cette rondelette somme de 495 000 $ ?
Des serveurs de stockage
Le Petarack consiste en huit grappes JBOD. Chaque grappe comporte l’équivalent de 45 disques durs « nearline SAS » (disques SATA munis d’une interface SAS), d’une capacité de 3 To chacun. Cela représente un total de 360 disques, soit 1080 To de stockage. Anticipant les remarques, Aberdeen clarifie ainsi : « Le Petarack contient 1080 To, ceci étant la capacité décimale annoncée par les disques durs eux-mêmes. »
Aberdeen annonce qu’il y a suffisamment de place pour monter un neuvième JBOD, ce qui augmenterait la capacité de 135 To supplémentaires. Il est possible d’ajouter deux contrôleurs SAS (un sur chacun des serveurs du système), poussant la configuration à 1215 To sur le même châssis. Par défaut, la société n’a pas choisi cette option, laissant les espaces PCIe libres pour des cartes Ethernet 10 Gbit ou pour des contrôleurs Fibre Channel.
À l’intérieur du Petarack
La plupart des contrôleurs RAID matériels ont des processeurs embarqués spécialement conçus pour accélérer les tâches de stockage, et la plupart des contrôleurs RAID 6 Gbit/s modernes sont dotés des processeurs double coeur tournant autour des 1,2 GHz. Bien qu’ils prétendent pouvoir supporter jusqu’à 256 périphériques via des dispositifs d’extension, une fois quelques douzaines de disques reliées, les performances s’en ressentent. De plus, ils ne peuvent gérer qu’une quantité limitée de mémoire cache (située entre 512 Mo et 4 Go). Aberdeen a évidemment dû contourner ces limitations.
Deux serveurs Dual-Xeon
Plutôt que des cartes RAID matériel, le Petarack utilise des contrôleurs SAS qui exploitent la puissance du serveur dans lequel ils sont installés. Cette puissance est celle des 12 coeurs ronronnant à 2,93 GHz des deux Xeon X5670 présents dans chacun des deux serveurs de stockage compris dans le rack. Par défaut, chaque serveur dispose aussi de 48 Go de mémoire DDR3 ; il est possible de monter jusqu’à 192 Go. Le concept de double serveur assure la redondance. Dans le cas ou l’un des deux tomberait en panne, l’autre prendrait automatiquement le relais.
Comme vous pouvez le voir sur la photo, des emplacements PCIe libres sont disponibles, permettant une connectivité réseau ou plus de capacités de stockage.
Le remplissage du Petarack
Chaque JBOD inclut deux extenseurs. Ainsi, chaque JBOD est connecté aux deux serveurs RAID, ce qui assure la redondance. Le Petarack utilise des disques SAS, qui présentent deux ports, facilitant la connexion à chaque serveur, pour la redondance une fois de plus. L’idée est que si un serveur ou un contrôleur venait à être déconnecté, il y aurait toujours un autre moyen d’accéder aux données.
Les vibrations sont un problème important sur un châssis comportant autant de disques. Si vous créiez votre propre armoire avec 360 disques sans utiliser le moindre mécanisme antivibrations, les performances diminueraient d’environ 50% (selon Aberdeen) et vous verriez apparaître, à court terme, de nombreuses pannes de vos disques. Plus particulièrement, les vibrations causeraient des erreurs de lecture ; les disques durs essaieraient inlassablement de relire et de corriger ces erreurs. Non seulement cela ralentit les performances, mais cela use aussi les disques, réduisant leur durée de vie.
Pour cette raison, des disques nearline SAS de 3 To semblent être ce qu’il y a de plus logique dans un environnement comme celui-ci. Ils offrent les caractéristiques fiables d’un produit d’entreprise et la capacité de disques SATA. Aberdeen dit que le Petarack peut aussi accueillir des disques SAS 15 000 tr/min ou des SSD pour les cas exigeants les meilleures performances. De nombreuses technologies peuvent donc exister au sein d’un seul et même Petarack, même s’il ne sera alors plus en mesure de fournir un pétaoctet de stockage.
Créer de grandes baies RAID
Il est généralement simple de fabriquer une grappe RAID avec une carte contrôleur classique. Toutefois, même les plus haut-de-gamme ont souvent leurs limites, par exemple un maximum de 32 disques par grappe. Il est facile de contourner cela en combinant plusieurs grappes de 32 disques, mais cela implique des compromis en termes de fiabilité.
Aberdeen s’appuie plutôt sur un noyau inspiré d’OpenSolaris avec une interface utilisateur GNU/Debian pour la création de baies RAID, contournant les limites du RAID matériel. Il y a différents niveaux de RAID : RAID 0, RAID 1, RAID-Z1 (simple parité), RAID-Z2 (double parité) et RAID-Z3 (triple parité). Aberdeen annonce que l’on peut réellement configurer les 360 disques du Petarack en deux groupes de 180 disques en RAID 1. La société recommande néanmoins une configuration en RAID-Z2 sur les huits JBOD.
Choisir le bon système de fichiers
En général, les NAS tournent depuis une sorte de système d’exploitation proche de Linux ou Unix, avec une interface graphique propriétaire intégrée. Il y a même des périphériques NAS Windows qui nécessitent une interface similaire. Sur ces machines, des partitions de plus de 16 To ne sont pas recommandées, et celles de plus de 256 To ne sont pas supportées du tout. Seuls quelques systèmes de fichiers expérimentaux (comme BTRFS) essaient de repousser ces limites.
Le système de fichiers ZFS 128 bits existe depuis un long moment et a déjà fait ses preuves. Pour éviter l’altération accidentelle et invisible de données, ZFS combine des sommes de contrôle à des écritures copy-on-write (un fichier modifié n’est pas écrit par dessus l’original, mais à côté, afin de conserver l’original intact). Les pétaoctets ne sont rien pour un système de fichier 128 bits. Non seulement il peut s’occuper d’autant de stockage, mais il peut en plus le présenter sous la forme d’un espace de noms unique.
Connexion Réseau
Vous pouvez présenter tout ou une partie du stockage d’un Petarack comme stockage au niveau du bloc. Par défaut, il supporte l’iSCSI sur deux contrôleurs Ethernet 10 Gbit, ou deux ports 1 GbE. Si vous possédez un réseau Fibre Channel, Aberdeen peut remplacer l’iSCSI par du Fibre Channel. Si vous préférez un stockage NAS ou un accès au niveau du système de fichier, vous pouvez toujours connecter le Petarack à un switch 10 GbE à la place.
Création de partages
L’accès multi-plateformes à un partage unique a toujours été problématique. Vous pouvez créer un partage CIFS sur Linux, auquel peuvent accéder les plateformes Microsoft et Mac. Toutefois, les administrateurs Linux préfèrent en règle générale les partages NFS, et ils utilisent des listes de contrôle d’accès (ACL) pour authentifier chaque utilisateur. Parfois, ils veulent accéder à leurs fichiers depuis Windows. Avec ZFS, vous pouvez avoir n’importe quel type de partage et le représenter comme un autre.
Stockage dans VMware
Les utilisateurs de VMware préfèrent aussi les partages NFS. Le stockage au niveau du bloc était limité à des partitions de 2 To dans vSphere 4.1. Cette limite est passée à 64 To avec vSphere 5.0. Les partages NFS n’ont pas de limites.
Scotty, il nous faut plus de puissance !
Il est possible que beaucoup de gens ne voient dans un rack comme celui-ci que l’intérêt d’avoir 1 Po de stockage sur une même machine. Mais quel genre de personne seriez-vous pour utiliser pleinement une machine aussi énorme que ce Petarack ? Quelles infrastructures cela demanderait-il ? Les calculs d’Aberdeen annoncent qu’à pleine puissance, le Petarack demande 7000 watts. À l’intérieur du rack, vous trouverez deux multiprises de 40 A, chacune divisée en deux circuits de 20 A. La charge est répartie de sorte que 4 prises 20 A soient requises pour alimenter le Petarack rempli au maximum de ses capacités.
Plus de 500 Mo/s de lecture séquentielle ?
Répétons-le, ce dossier n’est pas un test du Petarack. Nous n’en avons pas et n’avons pas les moyens de le mettre à l’épreuve. Mais nous adorons la technologie et nous pensons qu’un pétaoctet stocké dans un si petit espace, c’est plutôt sympa. Ceci étant dit, Aberdeen nous annonce que le Petarack est une solution clé en main. La compagnie vous envoie un ingénieur en même temps que cette armoire, qui vous l’installe (pour un demi-million de dollars, on en attendait pas moins). Il suffit de configurer vos propres baies RAID pour répondre à vos besoins.
Aberdeeen précise que son Petarack permet un nombre de snapshots illimité, le « thin provisioning » et la déduplication. Il est compatible avec l’API VMware « vStorage API for Array Integration » (VAAI) qui améliore l’utilisation du CPU sur ESX/ESXi 4.1 Server et supérieur, en déchargeant le CPU hôte de certaines tâches au profit du Petarack. Une défaillance matérielle provoque l’envoi d’un email ou d’une alerte SNMP et vous pouvez changer les parties défaillantes pendant que le système tourne.
Un nombre d’IOPS impressionnant
De nouveau, on nous a dit que des SSD pouvaient être utilisés comme stockage principal ou comme cache pour les applications qui demandent de très hautes performances comme les bases de données et les clients virtuels (VDI). Intéressés par ce potentiel, nous avons demandé à la compagnie de nous envoyer quelques-uns de ses propres tests de performances réalisés sous IOmeter et VDbench. Les chiffres ne sont pas les nôtres, ne les prenez donc pas pour argent comptant. Toutefois, ceux-ci vont à coup sûr attirer l’attention d’au moins quelques administrateurs…
