Comment mieux tester une carte graphique : notre nouvelle méthode

Le projet : transparence accrue et tests plus réalistes

Il nous est impossible de nier la vérité qui ressort souvent des commentaires sur les articles, et nous sommes conscients depuis longue date des lacunes inhérentes aux tests sur banc ouvert : les résultats présentent presque systématiquement des écarts significatifs par rapport à ce que l’on obtient dans un boitier fermé. Comment trouver une solution fiable à même de satisfaire tout le monde ?

Six mois de développement

C’est avec cet objectif que nous avons passé six mois à développer un concept pour notre laboratoire de test, permettant d’allier les avantages bien pratiques d’une table de benchmark (changement rapide et simple des composants) avec les conditions d’utilisation réelles qui nous ont été demandées. Cependant, le diable se cache toujours dans les détails : outre nos habituels benchmarks de jeu et relevés de sonde, il a fallu inclure de nouveaux objets dans la configuration de test, afin d’aller au-delà de notre protocole habituel.

Le fait est que les mesures infrarouges, relevés de consommation et autres aspects déjà présents dans nos tests, devaient impérativement faire partie du nouveau protocole, ce qui n’aurait pas été possible avec les seuls composants déjà disponibles sur le marché grand public. En conséquence, nous avons échangé avec plusieurs fabricants à l’occasion du Computex 2016, pour finalement nous entendre avec Lian-Li, la marque taïwanaise s’étant montrée capable de comprendre nos besoins de testeurs.

Le PC-T70 disponible dans le commerce, représenté ci-dessus, est l’exemple parfait de la table de benchmark. Elle souffre donc des problèmes évoqués plus haut, exactement ceux que l’on cherche à éviter. Une modification s’est donc imposée : nous avons été capables de dessiner ce qui correspondait à nos besoins.

• 

• 

• 

Assemblage et reconstruction du Lian Li PC-T70

Afin d’obtenir un boitier fermé, il nous faut ajouter un jeu de portes latérales, un plaque conçue de manière à ressembler le plus possible à l’arrière des boîtiers PC classiques en incluant notamment une ouverture pour la connectique E/S, ainsi qu’un panneau supérieur en acrylique.

Les portes latérales sont faites en acier plein de couleur noire et peuvent accueillir jusqu’à deux ventilateurs 120 mm ou 140 mm. Comme on peut le voir ci-dessous, elles sont également équipées de filtres anti-poussière et présentent l’avantage de pouvoir être installées avec un système d’attache magnétique. Bien que Lian Li se spécialise essentiellement dans les boitiers en aluminium, nous avons explicitement demandé de l’acier, non seulement pour faire baisser les coûts de fabrication (côté constructeur), mais aussi parce que ce métal est plus polyvalent dans les usages annexes que ne l’est l’aluminium.

Bien entendu, le panneau supérieur était indispensable afin de fermer notre boitier. Etant donné qu’il nous fallait pouvoir observer la configuration, le choix de l’acrylique s’est imposé de lui-même et pour ne rien gâcher, ce panneau s’est avéré parfaitement adapté pour une ouverture/fermeture facile grâce à des bandes aimantées. Nous avons écarté la solution des charnières étant donné qu’elles auraient pris trop de place lorsque le boitier est fermé.

Jusqu’ici, les composants décrits sont tous disponibles dans le commerce, mais il reste encore du chemin à parcourir avant de pouvoir utiliser pleinement les possibilités offertes par cette nouvelle configuration de test.

Commençons par la caméra infrarouge à haute résolution PI640 de chez Optris, laquelle ne permet pas d’effectuer facilement des mesures dans un boitier fermé. Etant donné que nous n’avons pas besoin d’une cohorte de ventilateurs, nous avons conçu deux plaques supplémentaires pouvant couvrir les ouvertures latérales du boitier en lieu et place des ventilateurs. Chaque côté est donc recouvert par deux plaques, elles-mêmes séparées par une couche de film plastique spécial, perméable aux ondes infrarouges et dont on connait la transmittance.

Ce film nous permet de faire d’une pierre deux coups : les ondes infrarouges peuvent s’échapper vers l’extérieur, tandis que la chaleur reste à l’intérieur, ce qui était justement le but de cette configuration fermée. Nous y reviendrons plus en détail dans les pages qui suivent.

Sachant qu’il fallait maintenir une compatibilité entre les nouveaux relevés et les précédents, cette configuration se rapproche autant que possible de celle  actuellement utilisée. Malheureusement, il nous a fallu changer la carte mère, cette dernière n’ayant pas bien réagi à une décharge électrostatique. Voilà une raison de plus pour passer d’une table de bench non conductrice (grâce aux panneaux en acrylique) à un boitier isolé.

La MSI X99S XPower AC a donc fait place à une MSI X99S Xpower Gaming Titanium, ce qui n’a engendré aucune différence au niveau des performances. Toutefois, il a également fallu changer la DRAM : nous avons choisi quatre barrettes Corsair Vengeance DDR4 3200 Dodge, lesquelles ont bien entendu été configurées à 2400 MHz comme les précédentes.

Le changement de barrettes ne tient pas à une panne, mais au fait que les Crucial Ballistix précédemment utilisées était recouvertes d’un radiateur qui engendrait des reflets, là ou celles de Corsair sont noir mat. Mesures à l’appui, les anciennes barrettes pouvaient influer (ne serait-ce que marginalement) sur les résultats infrarouges en raison de leur revêtement.

Watercooling

Afin de rester polyvalente, la nouvelle configuration a été conçue et assemblée avec un circuit de watercooling. Le refroidissement à l’air du processeur n’était pas une solution viable pour plusieurs raisons. Premièrement, un énorme dissipateur au format tour aurait encombré le champ de la caméra infrarouge. Deuxièmement, il aurait généré tellement de rejets de chaleur qu’une petite carte graphique modeste avec un TDP en conséquence aurait vu le résultat de ses mesures complètement bouleversé dans un boitier aussi compact que celui-ci.

Notre watercooling s’appuie sur un circuit ouvert classique regroupant les éléments de notre choix. La pompe (Alphacool Eispumpe VPP755), située dans la partie inférieure du boitier, est découplée grâce à un support en mousse. Le radiateur est un Alphacool NexXxoS UT60 360 mm intégralement en cuivre proposant une épaisseur de 6 cm. Nous l’avons équipé de trois ventilateurs Be Quiet! Silent Wings 2 gérés en PWM (montés en aspiration).

Le réservoir est monté à l’extérieur du boitier de manière à demeurer facilement accessible en permanence. On peut remarquer un raccord en forme de T sur son sommet : ce dernier permet de rajouter du liquide à n’importe quel moment par l’intermédiaire d’un entonnoir vissable si besoin est.

Pourquoi se donner tant de mal ? La réponse tient au principe de fixation rapide, permettant d’installer facilement d’autres composants, comme une carte graphique couverte d’un waterblock complet. L’image gauche ci-dessous montre que nous avons persuadé Lian Li d’inclure deux ouvertures pour le passage des tuyaux juste au-dessus de la carte graphique.

Ventilateurs, sondes et autres composants

Nous avons commencé par assembler une configuration aux composants similaires dans un boitier moyen tour conventionnel (Be Quiet! Silentbase 800), pour ensuite mesurer le comportement thermique d’une Asus Radeon R9 290X dont le TDP est considérable. Les relevés de température au sein du boitier, tout comme ceux de la carte graphique et de la carte mère, nous ont ensuite servi de référence pour paramétrer les ventilateurs de la nouvelle configuration de test.

Comme d’habitude, le flux d’air d’un boitier classique est simulé à l’aide d’un ventilateur en extraction positionné à l’arrière, épaulé par un ventilateur réglable en aspiration du côté gauche. Une fois encore, nous remercions Lian Li d’avoir adapté sa production pour répondre à nos besoins. Le ventilateur arrière fonctionne à 700 tr/min en permanence, tandis que le ventilateur latéral est paramétré à 800 tr/min. Précisons enfin que le ventilateur arrière est facilement démontable, de manière à pouvoir couvrir son emplacement au besoin.

On peut remarquer sur les images ci-dessus un petit radiateur en aluminium abritant une sonde thermique dans le coin supérieur droit du boitier : cet emplacement n’a pas été choisi au hasard, puisqu’il s’agit de la zone la plus chaude du boitier (nous y reviendrons plus tard). En parallèle, deux petits haut-parleurs USB ont été ajoutés sous le boitier au cas où l’on souhaiterait pouvoir entendre quelque chose.

Nous avons par ailleurs utilisé une alimentation Be Quiet! Dark Power Pro 11 850 Watts légèrement modifiée : il a par exemple été nécessaire de changer les câbles modulaires d’origine afin d’accueillir au mieux les pinces reliées aux oscilloscopes et stabiliser les connexions. Le châssis lui-même fait office de prise de terre, raison pour laquelle plusieurs points d’isolation ont été soudés.

Mise en route et données techniques

La nouvelle configuration de test est un peu plus compacte que la précédente, ce qui permet bien entendu de récupérer un peu de surface de travail supplémentaire. Pas à pas, le reste de l’équipement a été ajouté, calibré et surveillé sur une longue période. Voyons maintenant ce qu’il est possible de tester, ainsi que la méthode employée.

Mesure des températures

Notons que la nouvelle configuration relève les températures de l’eau et plus important encore, de l’air au sein du boitier fermé. Ces valeurs n’ont pas de lien direct avec les composants testés, mais elles peuvent aider à interpréter les relevés ultérieurs et sont donc appréciables à ce titre.

Les mesures ambiantes

La température de l’eau est mesurée à l’entrée du radiateur (il s’agit donc du cas de figure le moins favorable, choisi par mesure de précaution). La température de l’air est relevée dans la zone la plus chaude du boitier fermé. Grâce à ses ailettes, le radiateur en aluminium propose une surface d’échange étendue qui lui permet de s’ajuster plus rapidement à la température de l’air au sein du boitier. Nous avons introduit une sonde sous le radiateur et veillé à son maintien de manière à ce que l’on obtienne un contact direct entre les deux éléments.

Les valeurs sont relevées à l’avant de la configuration par l’intermédiaire de deux afficheurs numériques, lesquels sont suffisamment précis pour notre utilisation. Il est désormais facile de les contextualiser, ce qui est parfaitement illustré par l’exemple de la Gigabyte GTX 1070 G1. Nous évoquerons plus loin les images thermiques correspondantes.

Ceci étant dit, les mesures des deux sondes externes, ainsi que les températures rapportées par la carte graphique, ne brossent malheureusement qu’une partie du tableau. Profitons-en pour revenir sur une légende urbaine qui nous semble circuler depuis des années alors qu’elle n’est absolument pas fondée : il est impossible de relever les températures de l’étage d’alimentation d’une carte graphique avec un utilitaire comme GPU-Z ! Les valeurs que l’utilitaire attribue au VRM, ou VRM 1 et 2 pour les cartes graphiques AMD, correspondent en fait à celles de leurs contrôleurs PWM respectifs. Le fait est que ces contrôleurs ne sont pas situés dans la même zone que les convertisseurs de tension, or c’est précisément là que les températures sont particulièrement élevées !

La caméra thermique

Il convient donc d’aller plus loin pour mesurer ces températures, c’est-à-dire les relever en direct. Pour cela, nous utilisons une caméra thermique Optris PI640 dont les qualités sont connues et reconnues. Pour plus d’informations, rappelons que nous avons détaillé l’année dernière l’utilisation de cette caméra ainsi que ses prérequis en détail.

Etant donné que nous avons déjà évoqué le film plastique perméable, il est simplement question ici de son implémentation en pratique. Un ordinateur embarque nombre de composants additionnels émettant des rayonnements thermiques, comme les tuyaux d’un circuit watercooling, les barrettes mémoire ou encore les dissipateurs. Sachant que l’on ne veut pas les voir sur l’image thermique, nous testons toutes les cartes graphiques sur une carte riser permettant de les éloigner de la carte mère.

Ceci permet au final de mesurer presque parfaitement la chaleur émise par la seule carte graphique. Notons par ailleurs que la carte riser permettant de toujours avoir l’angle adéquat, l’utilisation d’un trépied (représenté ci-dessus) est préférable à des mesures que l’on réaliserait caméra thermique au poing.

Pour la première fois, nous voici capables de mesurer les températures d’une carte graphique en fonctionnement au sein d’un boitier fermé. Entre l’outillage utilisé pour cette installation et le niveau de détail, il parait impossible que quelqu’un d’autre ait mis le même protocole de test en pratique. Après tout, il n’existait pas de configuration de test utilisable dans les mêmes conditions auparavant. La différence de comportement de la Gigabyte GTX 1070 G1 Gaming à l’air libre ou dans un boitier fermé est clairement visible :

On peut constater un écart d’environ 2 Kelvin, ce qui correspond à ce que l’on obtenait dans le boitier de référence. Bien entendu, la température pourrait grimper de manière significative suivant la configuration du système et la solution de refroidissement utilisée.

Le fonctionnement des ventilateurs est influencé par cette hausse de température, ce qui se traduit par des nuisances sonores plus élevées. Nous verrons sur la page suivante comment ces émissions sont mesurées.

Courant entrant et émissions sonores

Mesure du courant entrant

Nous avons creusé ce sujet durant des années, ce qui nous a menés à faire face aux besoins des cartes graphiques modernes. Le temps et les efforts investis furent immenses, mais ils en valaient bien la peine. Commençons par le plus simple : toutes les cartes graphiques ne sont pas nécessairement pourvues de connecteurs d’alimentation. A vrai dire, il fut un temps où les cartes graphiques n’en avaient absolument pas besoin, car elles étaient uniquement alimentées par la carte mère. Ces deux sources d’alimentation se traduisent par deux rails : 3,3 Volts et 12 Volts. Dans un cas comme dans l’autre, nous mesurons les valeurs entre la carte graphique et la carte mère par l’intermédiaire des connecteurs pour ces deux boucles sur la carte riser :

La tension de ces deux rails est également relevée simultanément au niveau du connecteur ATX 24 broches de la carte mère, puisque c’est là qu’elle commence son voyage vers les ports PCI-Express.

Les relevés pour les connecteurs PCIe (six ou huit broches) ne peuvent être effectués qu’au niveau des câbles, directement là où ils viennent se brancher sur les ports d’alimentation de la carte graphique. Etant donné que certaines cartes disposant de plusieurs ports PCIe répartissent ces derniers sur différents rails de conversion de tension, il est parfois nécessaire d’utiliser deux pinces ampèremétriques avec adaptateurs et sondes, soit un total de huit canaux analogiques nécessitant une surveillance et des relevés en simultané.

L’installation est complétée par deux oscilloscopes  (configurés en maitre/esclave) agissant comme un seul oscilloscope à huit canaux. Les mesures sont réalisées avec un filtre passe-bas actif ainsi qu’une fréquence d’échantillonnage maximale pour éviter les possibles effets de crénelage et bruit électrique.

Quel est le niveau de détail nécessaire ?

Il s’agit d’une question très intéressante à laquelle il est difficile d’apporter une réponse simple. Nous avons été critiqués à plusieurs reprises (y compris par des collègues) pour certaines de nos mesures ainsi que la présentation graphique du résultat de ces mesures. Dans le second cas, les critiques étaient peut-être fondées : à défaut de connaissances approfondies, on a vite fait de passer à côté de quelque chose et (dans certaines circonstances) de tirer les mauvaises conclusions à partir des pics d’un graphique.

Partant du principe qu’il est nécessaire de les rendre accessibles au plus grand nombre, nous avons augmenté les intervalles de mesure pour de nombreux articles et utilisé un nouveau logiciel capable d’analyser l’occurrence temporelle et la vraisemblance des pics (et creux) de charge particulièrement brefs. La courbe qui en résulte est ainsi nettement plus plate, mais aussi bien moins sujette à des interprétations erronées. Toutefois, le fait de savoir que de réels pics peuvent exister et se manifester en pratique est important, quand bien même cet aspect n’a clairement pas sa place dans l’article en question.

Mesure des émissions sonores

Nous disposons d’une pièce supplémentaire pour effectuer ces mesures (sur un autre site que celui de notre laboratoire principal, à l’extérieur de la ville), laquelle a été achevée l’année dernière. En plus des émissions sonores, cette pièce nous sert entre autres pour tester des produits audio. Le concept de « pièce dans la pièce » permet d’éviter les influences de l’environnement, notamment les vibrations et bruits issus de la structure des locaux (transmis par le plancher) dans une large mesure.

Les appareils conventionnels pour mesurer les émissions sonores ne sont pas fiables, a fortiori dans le cas des cartes graphiques plutôt silencieuses. S’appuyer sur ces valeurs revient à faire un pari : on devrait parler d’estimations optimistes plutôt que de mesures utiles. Suivant l’heure et l’environnement, cette chambre nous permet d’enregistrer des valeurs descendant jusqu’à 20 dB de manière fiable et reproductible.

Pour les mesures audio, nous utilisons l’ancienne configuration sur banc de test ouvert que nous sommes parvenus à rendre encore plus silencieuse. Sans carte graphique et lorsque l’alimentation est isolée (contre les vibrations), cette configuration génère une « émission sonore de référence » inférieure à 23 dB à une distance de 50 cm. C’est une valeur que nous acceptons sans réserve.

Chacun des tests audio peut être surveillé dans une pièce séparée. Comme c’est le cas pour tout à cet étage, les machines utilisées dans cette pièce sont exclusivement alimentées par le réseau de courant continu.

Une question revient régulièrement : pourquoi présentons-nous nos relevés en dB plutôt qu’en Sone ? La raison est assez simple : la définition de la soi-disant bruyance en Sone s’appuie sur la définition du volume sonore. Une onde sinusoïdale de fréquence 1KHz à 40 dB correspond à un volume sonore de 40 Phone, ce qui représente la valeur de base d’un Sone. Si le volume sonore est perçu comme étant deux fois plus fort, le résultat correspond à 2 Sone et en toute logique, un volume sonore perçu comme moitié moins fort correspond à 0,5 Sone. Ce qui semble jusqu’ici utile, logique et pratique cache en fait une série de problèmes et peut s’avérer agaçant en pratique.

Le volume sonore en Sone correspond à l’intensité d’un signal sonore tel qu’il peut être subjectivement perçu par l’oreille moyenne. Cette unité de mesure est une illustration supplémentaire d’une science particulièrement complexe, à savoir la psychoacoustique. On ne fait donc pas mieux que le décibel acoustique comme unité de mesure. Deux Sone sont-ils réellement perçus comme un volume sonore deux fois plus fort qu’un Sone ? La part de subjectivité est telle que les relevés s’avèrent être tout simplement fallacieux. Pour le démontrer, voici un test très simple à expérimenter :

• Prendre une radio et mémoriser la valeur affichée sur l’échelle du contrôle de volume
• Augmenter le volume (sans regarder l’échelle) jusqu’à percevoir un niveau qui semble deux fois plus fort
• Diminuer le volume (toujours sans regarder l’échelle)  jusqu’à atteindre un niveau qui semble deux fois moins fort
• Enfin, comparer le nouveau réglage avec le réglage initial : à moins d’avoir une oreille de musicien particulièrement entrainée, le résultat sera surprenant.

A vrai dire, la seule méthode fiable pour déterminer le volume sonore en Sone est celle décrite par Eberhard Zwicker (Norme DIN 45631:1991-03). Toutefois, cette méthode est assez complexe, de même qu’elle reste trop imprécise pour les sons peu intenses (inférieurs à un Phone, soit environ 40 dB). Les mesures en dB non pondérées représentent le véritable niveau de la pression sonore : on peut donc parler de valeurs réellement mesurées, plutôt qu’un phénomène pondéré à l’aide de formules. C’est aussi pour cette raison que les industries utilisent le dB comme unité de mesure. Malheureusement, elle ne nous est pas d’une grande utilité non plus.

Nous arrivons donc au dB(A) (pondération A) qui est l’échelle de mesure que nous utilisons : il s’agit de résultats en décibels filtrés de manière à représenter la perception physiologique subjective du son. Ceci ne manque pas de sel, puisque l’on se retrouve avec un problème similaire à la bruyance en Sone. En effet, Sone, comme dB(A), sont des interprétations qui ne représentent pas une valeur réellement mesurée, mais des hypothèses ! Une valeur en dB(A) est ainsi un niveau de pression sonore pondérée sur la base du seuil d’audition de 0 dB, soit 20 micro-Pascal. Il est possible d’utiliser des méthodes supplémentaires, comme la pondération temporelle (lente ou rapide), pour faire en sorte que le résultat reproduise plus fidèlement la réalité d’une situation donnée. Que faire de tout cela ?

La question à laquelle il faut répondre est la suivante : que faut-il mesurer au mieux en pratique ? La pression acoustique pondérée A ou le volume sonore perçu ? A ce  jour, c’est la première des deux options que nous avons retenue, de par sa meilleure comparabilité et reproductibilité en premier lieu, tout en sachant que les deux méthodes ont leurs propres avantages et inconvénients. Signalons par ailleurs que l’équipement doit être régulièrement calibré par des professionnels : sans cela, il suffirait d’un an dans le meilleur des cas pour que la fiabilité des résultats soit remise en question.

Des mesures de contrôle simples

Pour vérifier certaines conditions de tests avant les mesures sonores réelles (qui nous oblige à nous déplacer dans notre second laboratoire éloigné du centre ville), nous pouvons effectuer ces mesures de contrôle directement à notre laboratoire principal avec un autre micro, et à différentes distances de l’objet d’étude. Bien entendu, cela ne remplace pas une mesure exacte dans l’autre laboratoire, malgré un microphone calibré, un bon blindage et le même logiciel d’analyse que dans la pièce dédiée aux mesures. Toutefois, cela suffit à se faire une première idée.

Performances et conclusion

Mesure des performances

Rappelons que nous laissons systématiquement les cartes graphiques grimper en température au sein d’un boitier fermé : les mesures peuvent être considérées comme objectives à condition que la carte ait pu atteindre au préalable sa température plafond et donc stabiliser sa fréquence de fonctionnement.

En plus d’autres méthodes de mesures (FCAT par exemple), nous utilisons notre propre utilitaire basé sur PresentMon. Cet outil nous permet d’enregistrer nos benchmarks habituels avec leurs profils respectifs de manière à les créer une seule fois, tout en ayant la liberté de les modifier n’importe quand, ce qui nous fait gagner un temps considérable. Les profils spécifiques à tel programme sont utilisés pour gérer automatiquement les paramètres de PresentMon dès lors que ce programme est détecté.

Dans ce but, nous avons par ailleurs implémenté notre propre programme de raccourcis entièrement paramétrable au sein de PresentMon. Grâce à lui, nous pouvons démarrer, gérer automatiquement PresentMon, et si nécessaire, sortir manuellement de l’application au cours d’un jeu ou d’un programme graphique. Une confirmation vocale nous informe du succès (ou de l’échec) de l’opération. En principe, ce logiciel fonctionne (depuis plusieurs mois) comme l’OCAT d’AMD, à la différence près que notre solution est beaucoup plus confortable.

Toutes les données enregistrées doivent ensuite être traitées, ce qui n’est pas une mince affaire vu leur volume. Nous utilisons un autre logiciel que nous avons écrit spécifiquement dans ce but : il combine les deux fichiers log et effectue tous les calculs nécessaires, lesquels seraient difficiles, voire impossibles, à traiter sous Excel vu leur complexité et la quantité de données à traiter.

La troisième génération de notre « interprète » de fichiers log peut effectuer les calculs nécessaires en un clin d’œil, tout en permettant l’implémentation de nouvelles méthodes d’analyse si nécessaire.

Conclusion

Au-delà du fait que toutes les mesures peuvent maintenant être conduites bien plus rapidement, sont plus applicables en pratique et gagnent donc en objectivité, la coopération étroite avec Lian Li mérite d’être soulignée, tant elle nous a permis de faire avancer ce projet extraordinaire. Nous avons enfin pu disposer des outils que nous souhaitions depuis longtemps, lesquels répondent aux attentes formulées au sein de notre communauté : mettre fin aux mesures effectuées sur banc de test ouvert et faire un pas supplémentaire vers des tests les plus réalistes possibles.

Pour ne rien gâcher, les mesures effectuées dans la nouvelle configuration nous aideront à trier le bon grain de l’ivraie, puisqu’elles contribueront à exposer les faiblesses de certaines cartes graphiques. Le fait de pouvoir se faire la meilleure impression possible d’un produit avant achat est essentiel.

Après environ six mois passés à préparer ce projet, puis quelques jours d’assemblage, tests et calibrations, il ne nous reste qu’une chose à ajouter : la période des tests sur banc ouvert est bel et bien révolue !