Pas plus imposant que le Wafer Scale Engine V1, mais nettement mieux doté grâce au passage à une gravure en 7 nm.
Avec sa surface de 46 225 mm2 (21,5 x 21,5 cm environ), son 1,2 billion de transistors et ses 400 000 cœurs, le Wafer Scale Engine (WSE) de Cerebras est déjà le plus grand processeur au monde. La société prépare toutefois un WSE-2. Le passage au 7 nm de TSMC permettra, malgré une surface de die identique, d’embarquer 850 000 cœurs et 2,6 billions de transistors. Cerebras a fourni quelques informations et illustrations supplémentaires au sujet de ce WSE-2 lors de la Linley Spring Processor Conference.
Comme indiqué sur les diapositives, ce WSE-2, qui occupe une tranche wafer entière, embarque 40 Go de SRAM et offre une bande passante de 20 Po/s contre 9 Po/s pour le WSE de première génération. Malgré un nombre de cœurs plus que doublé, la consommation reste inchangée avec 15 kW pour la puce et 20 kW pour l’ensemble du système.
Tianshu Zhixin détaille son GPGPU Big Island en 7 nm
Comparaison avec le WSE V1
Le tableau ci-dessous donne un aperçu des améliorations par rapport au WSE. Afin d’insister sur l’extravagance de ces WSE, Tom’s Hardware US a ajouté les spécifications l’A100 de NVIDIA, laquelle ne boxe clairement pas dans la même catégorie !
| Processeur | Cerebras Wafer Scale Engine 2 | Cerebras Wafer Scale Engine | Nvidia A100 |
| Nœud de gravure | TSMC 7 nm | TSMC 16 nm | TSMC 7 nm |
| Cœurs IA | 850 000 | 400 000 | 6912 + 432 |
| Surface du die | 46 255 mm2 | 46 255 mm2 | 826 mm2 |
| Transistors | 2,6 billions | 1,2 billion | 54 milliards |
| SRAM sur puce | 40 Go | 18 Go | 40 Mo |
| Bande passante mémoire | 20 Po/s | 9 Po/s | 1555 Go/s |
| Bande passante Fabric | 220 Pb/s | 100 Pb/s | 600 Go/s |
| Consommation (système / puce) | 20kW / 15kW | 20kW / 15kW | 250W (PCIe) / 400W (SXM) |
Architecture
Pour rentrer un peu plus en détail dans l’architecture déployée par Cerebras, les cœurs se répartissent sous forme de tuiles, elles-mêmes disséminées au sein d’une multitude de petits dies. Chaque tuile possède son propre routeur, sa mémoire SRAM, son chemin de données FMAC et son module de contrôle tensoriel. Tous les cœurs sont interconnectés via une matrice 2D.
Pas à portée de tous les budgets…
Vous l’imaginez, le Wafer Scale Engine s’adresse à une poignée de clients qui disposent d’un budget extrêmement important. Pour des raisons évidentes de confidentialité, Cerebras ne donne pas d’informations les concernant. On peut estimer qu’il s’agit essentiellement d’organisations présentes dans les domaines militaire, énergétique, médical et de la recherche fondamentale. L’Argonne National Laboratory possède par exemple un système Cerebras CS-1, présenté comme “The World’s Fastest Artificial Intelligence Computer”.
Cerebras prévoit de commercialiser son WSE-2 d’ici le troisième trimestre 2021.
Ca doit être marrant à refroidir avec un TDP a 20.000W ! Waw !