Comparatif cartes graphiques : comment nous testons

Introduction

Depuis environ un an, nous avons apporté des changements significatifs à bon nombre de nos tests de cartes graphiques : FCAT (alias Frame Capture Analysis Tool) a par exemple été utilisé autant que possible, de même que nous avons évoqué en détail les difficultés liées aux tests de configurations SLI/CrossFire lorsque l’on utilise la capture vidéo. Les résultats que nous obtenons sont donc plus précis qu’ils ne l’ont jamais été.

Plus récemment, nous avons décidé d’analyser la consommation plus en détail avec le même souci de précision, ce qui s’est par exemple traduit de manière très concrète lors du test des R9 280X, R9 270X et R7 260X. Notre but n’est pas de donner une estimation plus ou moins précise de la consommation des cartes graphiques, mais de définir un nouveau standard pour la mesure de la consommation. Ceci est particulièrement important pour nous dans un contexte où NVIDIA comme AMD ne parlent plus seulement de performances brutes : les deux marques insistent sur le rendement, mettant en avant les cartes capables d’arriver à de bonnes performances sans souffrir d’un TDP excessif.

Outre le fait de détailler la méthodologie, cet article introduit également nos charts de cartes graphiques 2014, qui donnerons lieu dans quelques jours à un nouveau comparatif de cartes graphiques. Afin de tenir compte des évolutions technologiques des écrans, nous exécutons désormais les tests synthétiques et benchmarks (jeux) suivant deux définitions : FHD (1920×1080) et UHD (3840×2160). Précisons qu’une deuxième série de définitions et résultats sera incluse plus tard, lesquels nous permettront de mettre en avant les cartes graphiques entrée de gamme, APU et IGP.

Une nouvelle plateforme de test

Au fil de l’année dernière, il s’est avéré à de nombreuses reprises que l’Intel Core i7-3770K pouvait constituer un goulet d’étranglement et ce malgré un overclocking à 4,5 GHz. Ces cas de figure devraient cependant être franchement rares au vu des définitions que nous avons retenues. Afin de prendre un maximum de précautions, nous avons assemblé une nouvelle machine de test basée sur un Core i7-4930K overclocké à 4 GHz, un kit de 32 Go de DRAM très performant ainsi qu’une carte mère Asus Rampage IV Black Edition.

Un environnement matériel et logiciel stabilisés pour éviter les biais

L’évolution du jeu sur PC nous surprend chaque année. S’il est facile d’ajouter de nouveaux titres/retirer des anciens, il est nettement plus difficile de récolter l’énorme quantité de données nécessaire à ce comparatif perpétuel et les voir ensuite vieillir durant 12 mois. A défaut de pouvoir utiliser tous les jeux à succès, notamment au vu du nombre de boucles de test à répéter, nous avons retenu 10 titres « AAA » (dont deux benchmarks) proposant de vrais réglages graphiques avec des séquences de test assez longues. Bien entendu, cette sélection trouve un équilibre entre les jeux tendant à privilégier les Radeon et ceux qui penchent pour les GeForce.

Toujours dans un souci d’équilibre, la sélection de jeux est répartie dans le temps afin de diversifier l’exercice auquel nous livrons les cartes graphiques : DiRT 3 est le doyen du haut de ses 3 ans, tandis que Thief est sorti il y a trois mois. Par ailleurs, les mises à jour Windows sont bloquées, sachant que la configuration est sauvegardée en tant qu’image disque afin de pouvoir être réutilisée encore et encore. Lorsque la situation l’exige, nous utilisons de nouveaux pilotes. Ceci nous contraint à re-tester les cartes, surtout si les performances évoluent de manière significative.

La configuration de test en détail

Processeur: Intel Core i7-4930K

Comme évoqué plus tôt, nous avons pu constater l’année dernière que notre Core i7-3770K pouvait limiter les performances sur certains benchmarks. Etant donné que la nouvelle plateforme de test nous servira également aux tests applicatifs de type station de travail, nous avons décidé d’écarter les processeurs sur socket LGA 1150 pour retenir un Core i7-4930K (socket LGA 2011) comptant 6 cores physiques pour un total de 12 threads. Précisons que ce dernier est overclocké à 4 GHz pour les benchmarks graphiques, tandis que nous le maintenons à sa fréquence d’origine (3,4 GHz) pour les tests de composants destinés au marché professionnel.

Carte mère : Asus Rampage IV Black Edition

Outre le fait de faciliter l’obtention de résultats stables et cohérents, l’Asus Rampage IV Black Edition propose de nombreux points de mesure très utiles pour ce qui est de la consommation. Le chipset X79 est daté au regard des fonctionnalités proposées par les cartes mères les plus récentes. De ce fait, la Rampage IV Black Edition doit passer par des contrôleurs tiers pour proposer bon nombre de fonctionnalités, ce qu’Asus a su gérer intelligemment.

Les 4 ports PCI Express 16x proposent de nombreuses possibilités, mais nous n’en utilisons que deux à plein débit (16x) pour les  configurations en CrossFire/SLI à deux cartes.

Refroidissement

Nous sommes bien tombés avec le processeur : après avoir fait le tour des réglages pléthoriques que propose la Rampage IV Black Edition, nous avons pu stabiliser les six cores de notre Core i7-4930K à 4 GHz sans augmenter la tension. A vrai dire, nous disposons même d’une marge de manœuvre pour la baisser.

Les performances thermiques illustrent les bonnes capacités du processeur : nous n’avons jamais dépassé les 67°C sous LinX avec notre watercooling intégré Enermax ELC240.

Pour une utilisation intensive, l’overclocking maximal du processeur se situe à 4,5 GHz, ce qui nous laisse une certaine marge au cas où l’on constaterait un quelconque goulet d’étranglement CPU à l’avenir.

Pâte thermique

En plus de refroidir un processeur ayant un TDP assez conséquent, nous démontons et reconfigurons bon nombre de cartes graphiques, ce qui nécessite une pâte thermique efficace. Après en avoir beaucoup testé ces deux dernières années, nous avons retenu la Gelid GC-Extreme qui s’applique facilement et parvient d’emblée à son comportement optimal.

Pour mémoire, nous avons abordé en détail le sujet des pâtes thermiques en octobre dernier.

Mesure de la consommation

Le banc de test dédié aux mesures de la consommation a été configuré en coopération avec HAMEG (Rohde & Schwarz) afin de récolter des mesures précises à intervalles serrés. Nous avons par ailleurs régulièrement remplacé les différents appareils pour des modèles plus performants ces derniers mois.

Les technologies AMD PowerTune et NVIDIA GPU Boost ont profondément modifié la consommation des cartes graphiques en charge. De ce fait, il est maintenant nécessaire d’avoir des outils professionnels ainsi qu’un protocole de test très abouti pour dégager des résultats précis. Ceci étant dit, nous ajoutons à nos mesures habituelles une série de benchmarks utilisant une plage de 100 µs extrêmement courte, avec 1 µs comme intervalle de mesure.

Cette précision est permise par un oscilloscope numérique multicanaux proposant une bande passante de 500 MHz à ainsi que le stockage via USB (HAMEG HMO 3054), sachant que nous mesurons courants et tensions à l’aide d’une télécommande.

Les mesures sont enregistrées par trois sondes haute résolution (HAMEG HZ050) non seulement à l’aide d’un adaptateur pour les rails 3,3 et 12 Volts (lequel a été conçu en interne pour répondre à nos besoins, gère le PCIe 3.0 et offre des chemins d’accès courts), mais aussi par des câbles d’alimentation PCIe spécifiquement modifiés pour cet usage.

Les tensions sont mesurées à partir d’une alimentation comptant un seul rail +12 Volts. Nous utilisons des écarts de 2 ms pour les lectures standard, ce qui est suffisamment réduit pour refléter les changements opérés par PowerTune et GPU Boost. Bien entendu, le volume de données brutes ainsi obtenues est énorme, raison pour laquelle nous plaçons la limite à 2 minutes pour chaque graphique.

100 millisecondes, un instant comme une éternité …

Voyons ci-dessous l’analyse des tensions pour les trois rails avec un intervalle de 2 ms sur une durée totale de 100 ms (ce qui revient donc à 50 points de mesure). On en vient à plaindre l’alimentation : celle-ci est sollicitée de manière aussi irrégulière que brutale puisqu’elle fournit de 91 à 355 Watts via les câbles d’alimentation PCIe. Si l’on constate également des fluctuations sur les autres rails, leur magnitude est sans commune mesure.

Notons que les cartes graphiques nécessitant une alimentation externe, Radeon comme GeForce, ne tirent jamais pleinement parti des 75 Watts disponibles via le port PCI Express 16x, ce qui n’a pas toujours été le cas. De plus, on remarque nettement moins de variations au niveau de l’interface PCI Express, ce qui ne peut qu’être positif en termes de stabilité.

Mesures en haute résolution

Illustrons maintenant la consommation au repos ainsi qu’en conditions de jeu. Une fois encore, ceci sera abordé plus en détail par un article dédié.

Voilà ce qui est intéressant : la Radeon R9 290X affiche une consommation au repos inférieure à 14 Watts. Cependant, les nombreux pics allant jusqu’à 32 Watts font nécessairement monter cette moyenne si l’on ralentit la fréquence des mesures. Après avoir isolé ce qui revient à sa mémoire intégrée, la consommation de la carte graphique est inférieure à 12 Watts.

Ces différences n’apparaissent pas seulement au repos : la consommation en jeu s’avère également être inférieure à ce que notre ancien équipement a pu nous faire croire. Ces écarts massifs entre notre matériel actuel et des appareils plus lents ne se sont manifestés qu’avec les deux dernières générations de cartes AMD, ce qui nous permet d’affirmer que le phénomène est assez récent. Cependant, ceci veut également dire que les reproches faits à AMD sur ce sujet sont plus importants qu’ils ne devraient l’être dans la plupart des tests.

Mesure du bruit

Nous mesurons les nuisances sonores de chaque carte graphique avec un micro studio calibré de haute qualité (supercardioïde), positionné perpendiculairement à 50 cm du centre des cartes. Cette distance, ainsi que les caractéristiques de directivité du micro, constituent un compromis entre le fait d’éviter le bruit généré par le flux d’air du ventilateur et le bruit ambiant : ce dernier est sans aucun doute atténué par l’isolation acoustique entreprise dans la pièce de test, mais pas éradiqué pour autant.

Il nous aura également fallu décider cette année de l’unité de mesure des nuisances sonores pour ce comparatif : sone, dB ou dB(A).

Décibels ou Sone ?

La définition du volume sonore perçu en sone est basée sur la pression acoustique. Un sone vaut 40 phones, ce qui se définit par un son pur de 1 kHz à 40 dB. Le sone s’échelonne avec le volume sonore perçu, c’est-à-dire qu’une pression sonore perçue comme deux fois plus forte qu’un sone revient à deux sones, de même qu’une pression sonore perçue comme étant deux fois moins forte qu’un sone équivaut à 0,5 sone. Au premier abord, on a l’impression que ce système est logique et pratique pour exprimer le niveau sonore de manière simple. Malheureusement, on rencontre des problèmes agaçants en s’y penchant de plus près.

Lorsque l’on augmente un volume sonore de 10 phones en partant de 40 phones, les 50 phones obtenus se traduisent par un volume sonore perçu multiplié par deux, c’est-à-dire 2 sones. Cependant, la situation n’est pas aussi simple en dessous de 40 phones : à ces niveaux, une baisse inférieure à 10 phones est suffisante pour être perçue comme un volume sonore moitié moindre. La pression acoustique générée par les cartes étant typiquement inférieure à 40 dB (40 phones, 1 sone) au repos, la mesure des nuisances sonores dans ces conditions est non seulement délicate, mais aussi potentiellement confuse. Globalement, le sone est donc mieux adapté à l’expression de volumes sonores élevés.

Un bruit complexe plutôt que des sons purs

Un autre problème inhérent au sone tient au fait que ce dernier se base et s’échelonne à partir de la perception du volume sonore sur un son pur de 1 kHz. Comme nous le savons, le ventilateur d’une carte graphique ne génère pas du tout un son pur, mais un bruit complexe qui recouvre un spectre de fréquences.

Le débat se complique encore plus lorsque l’on essaie de comparer le bruit émis par un ventilateur radial par rapport à un ventilateur axial, sans même parler des différents diamètres et vitesses de fonctionnement. La valeur en sone dépend fortement du profil sonore spécifique à chaque dissipateur, rendant ainsi l’appréciation du volume sonore difficilement interprétable, quand bien même il s’agit théoriquement de la manière la plus juste qui soit pour l’exprimer.

L’oreille humaine

En parallèle, les mesures acoustiques s’appuient sur des courbes de pression sonore pondérées qui reproduisent raisonnablement la perception de l’oreille humaine et nous simplifient donc la tâche. L’utilisation de filtres rend ces mesures possibles, sachant que les courbes pondérées sur lesquels ils s’appuient sont définies par les normes DIN EN 61672-1/-2. Ces filtres sont conçus pour fournir une réponse en fréquence similaire à celle de l’oreille humaine pour la mesure du bruit.

Ces mesures restent des estimations, mais suivant la qualité des appareils de mesure, elles devraient être plus représentatives que celles exprimées en sone dès lors que l’on descend en dessous de 40 dB. Naturellement, les dB(A) n’ont de sens qu’à partir du moment où la distance par rapport au son est précisée (ce à quoi l’on veille).

Tout compte fait, nous avons donc décidé de continuer à utiliser les dB(A) pour nos mesures de bruit. Au-delà des commentaires que nous pouvons faire en parallèle des mesures, voici un tableau servant de référence.

3DMark Fire Strike, Unigine Heaven

Bien qu’ils ne reflètent pas nécessairement les performances des jeux, nous avons décidé d’inclure deux benchmarks synthétiques : ces derniers permettent notamment à chacun de reproduire les tests sans avoir à posséder tel titre fonctionnant avec tels réglages sur une scène donnée.

Voici les deux séquences sous 3DMark FireStrike en vidéo.

Nous faisons délibérément l’impasse sur les scores CPU et globaux, étant donné que notre configuration de test embarque un hexacore overclocké pas franchement représentatif de la plupart de nos PC.

Unigine Heaven 4.0

Du fait que ce test synthétique propose plusieurs niveaux de tesselation, il permet une analyse assez riche des performances géométriques. De plus, Unigine Heaven 4.0 peut être configuré de manière à solliciter intensément les shaders.

Les réglages que nous avons retenus en 3840×2160 permettent aux cartes graphiques haut de gamme de parvenir à un débit d’image raisonnablement fluide. Précisons que tous les benchmarks sont exécutés en plein écran et ce quelle que soit la définition.

L’intégralité des cartes sont mises en condition pour fonctionner à une température constante en charge, qu’il s’agisse de 3DMark, d’Unigine ou des jeux.

Concrètement, nous répétons la boucle de test sous Unigine jusqu’à ce que la température cesse d’augmenter. Pour les jeux, la séquence est parfois relancée à plusieurs reprises avant que les mesures ne soient enregistrées. De plus, tous les benchmarks sont figés tels que décrits : nous bloquons les éventuelles mises à jour. Comme évoqué plus tôt, lorsque de nouveaux pilotes apportent des gains de performances significatifs, nous relancerons les tests pour autant de cartes que possible.

Terminons par les réglages utilisés sous Unigine Heaven 4.0.

Metro: Last Light, Thief

Mieux vaut-il créer sa propre séquence de test ou bien utiliser le benchmark intégré d’un jeu lorsque celui-ci est conçu pour faire souffrir les cartes graphiques ? Metro : Last Light propose un utilitaire permettant d’adapter les réglages et de générer une séquence répétitive sur le plan des performances, laquelle donne un exemple des cas de figure les plus extrêmes que le GPU devra endurer en cours de partie. Grâce à la fiabilité de son benchmark intégré fiable ainsi que le prix de vente actuel du jeu, il est particulièrement facile de reproduire notre séquence de test sous Metro : Last Light et donc de situer sa configuration.

Voici le benchmark utilisé, lequel est exécuté à quatre reprises : la première boucle sert à faire monter le GPU en température, tandis que nous dégageons un résultat moyen à partir des trois suivantes.

Le 4AGame Engine poussant quasiment toutes les cartes graphiques à leurs limites, les résultats obtenus sont là pour représenter un scénario particulièrement délicat pour chacune d’entre elles.

Thief

Thief est à sa manière un jeu exigeant en termes de ressources qui propose également un benchmark intégré. Ce dernier est assez gourmand en mémoire et punit donc toutes les cartes graphiques ne proposant pas une quantité de mémoire suffisante par rapport à la définition et aux réglages choisis.

Le test est suffisamment court pour être lancé trois fois à la suite. Là encore, la première boucle sert à faire grimper la température des GPU après quoi nous calculons une moyenne à partir des deux boucles suivantes.

DiRT 3, BioShock Infinite

Les deux jeux qui suivent sont nettement moins gourmands que les deux précédents, ce qui se traduit par des performances largement supérieures quand bien même on opte pour les réglages les plus exigeants. Les cartes graphiques haut de gamme sont assez rapidement limitées par le processeur avec des titres comme DiRT 3 et BioShock Infinite, raison pour laquelle nous avons choisi un processeur Ivy Bridge-E overclocké pour notre configuration de test.

La vidéo ci-dessous illustre la boucle de test. Là encore, nous l’exécutons à trois reprises : une première fois pour faire chauffer les GPU, les deux fois suivantes pour calculer un résultat moyen.

Le choix d’utiliser le jeu avec les réglages au maximum est raisonnable dans la mesure où une simple GeForce 750 Ti s’en tire sans encombre en 1920×1080. Il faut donc monter en définition pour pousser les cartes milieu de gamme dans leurs retranchements.

BioShock Infinite

L’ultime jeu d’Irrational Games constitue également un bon exercice pour les cartes entrée de gamme, ce qui nous a poussés à l’inclure : le comparatif de cartes graphiques concerne aussi bien les modèles (très) haut de gamme que les modèles accessibles au plus grand nombre.

Le protocole de test est inchangé : trois boucles de test dont deux utilisées pour générer un résultat moyen.

Tomb Raider, Hitman: Absolution

Nous évitons de mettre les cartes en souffrance avec Tomb Raider : le jeu devient franchement exigeant si l’on active le TressFX, fonctionnalité intense en calcul qui privilégie les Radeon. Bien entendu, nous n’utilisons pas non plus PhysX sur les jeux qui le proposent par souci d’équité.

Les réglages sont là encore équilibrés afin de pouvoir tester une large sélection de cartes graphiques affichant pour la grande majorité un débit supérieur à 30 ips.

Hitman: Absolution

A l’image de DiRT 3 et BioShock Infinite, le titre d’IO Interactive est lui aussi suffisamment léger pour être jouable sur la quasi-totalité des cartes graphiques réunies (c’est d’ailleurs en raison du manque d’échelonnement des performances que nous l’avons exclu des jeux utilisés pour tester les nouvelles cartes graphiques).

Battlefield 4, Far Cry 3

Le FPS de DICE propose aux cartes graphiques un challenge plus conséquent qu’Hitman: Absolution. Malheureusement, nous sommes contraints d’utiliser la campagne solo pour obtenir des résultats reproductibles, or les performances de Battlefield 4 sont amoindries en multijoueur notamment en raison des limitations CPU. Nous avons cependant cherché à compenser ce fait à l’aide d’une scène scriptée particulièrement dynamique en guise de benchmark.

Voici la boucle de test sachant qu’elle n’est exécutée qu’à deux reprises. Seule la deuxième boucle sert à déterminer les résultats, sachant que ces derniers sont tout à fait fiables vu que la scène est scriptée.

Far Cry 3

Bien qu’il ait quasiment un an et demi au compteur, Far Cry 3 reste un jeu assez éprouvant pour les cartes graphiques. De plus, on peut estimer que l’optimisation des pilotes est d’ores et déjà derrière nous. Ceci en fait donc un benchmark stable qui nous fournira des résultats fiables sur le long terme.

Bien que l’on exécute trois boucles de test sur ce jeu, la montée en température des GPU est assurée non pas par une boucle mais par des déplacements en cercle après avoir chargé la sauvegarde. La moyenne est donc calculée à partir des trois boucles. Comme on peut le voir ci-dessous, la séquence de test inclut une rotation à 180° permettant de passer d’une distance d’affichage courte à un panorama tout en profondeur, ainsi qu’une alternance entre déplacement au sol et nage.

Conclusion

Pour conclure, voici quelques points particulièrement importants.

S’agissant de la mesure des températures, notre pièce de test est maintenue à 22°C grâce à une très bonne climatisation. Cette valeur constitue un équilibre entre la température généralement conseillée dans les logements collectifs (19°C) et les températures que l’on connait durant les mois d’été. Précisons que la pièce est suffisamment grande pour qu’une configuration haut de gamme ne chauffe pas anormalement, ce qui affecterait les résultats.

Emulation des cartes graphiques de référence

AMD et NVIDIA ne nous envoient pas systématiquement des modèles de référence lorsqu’une nouvelle carte débarque sur le marché, ce qui engendre deux cas de figure. Si la « nouvelle » carte est en fait un produit recyclé, comme par exemple l’AMD Radeon R7 265, nous utilisons tout simplement l’ ancienne version et ajustons les fréquences en conséquence.

En revanche, il est parfois impossible d’obtenir le modèle de référence d’une nouvelle carte, auquel cas il nous faut utiliser une version personnalisée par une marque partenaire et modifier ses fréquences. Dans les deux cas, le nom des cartes graphiques concernées est précédée d’un (*) et nous faisons délibérément l’impasse sur les mesures de bruit et température qui seraient approximatives.

Cartes graphiques entrée de gamme

Certaines cartes graphiques entrée de gamme peuvent se retrouver à l’agonie avec nos réglages, a fortiori dès que l’on va au-delà d’une définition 1080p. Lorsque le cas se présente, nous sortons tout simplement les cartes concernées des graphiques. Rappelons qu’un comparatif dédié aux cartes graphiques entrée de gamme, APU et IGP verra le jour ultérieurement : ce dernier s’appuiera sur des réglages plus adaptés à ces produits.

Ceci étant dit, les cartes milieu de gamme restent particulièrement importantes à nos yeux, raison pour laquelle nous tenons à les utiliser sur l’intégralité de la suite de tests.

Les comparatifs comme les nôtres nécessitent toujours un compromis entre efforts et exhaustivité, ce qui explique pourquoi nous avons fait l’impasse sur quelques jeux AAA pour favoriser une sélection de titres diversifiée. Nous estimons que cette sélection permet un bon équilibre entre ressources graphiques, définitions et réglages. Ajoutons à cela la précision des données relatives à la consommation ainsi qu’aux nuisances sonores, et l’on arrive à ce que nous espérons être un tour d’horizon objectif des cartes graphiques actuelles (et un peu plus anciennes) susceptibles d’intéresser chacun d’entre nous.

Vous retrouverez dans les tout prochains jours notre nouveau comparatif de cartes graphiques issu de ce protocole !