Le premier vrai benchmark pour la VR
Le tant attendu benchmark VRScore de Basemark pour la réalité virtuelle est arrivé, et nous l’avons essayé avec six casques de réalité virtuelle en notre possession, et deux cartes graphiques majeures. Ce test permet non seulement d’évaluer les performances des cartes graphiques, mais surtout de mesurer précisément la latence des casques VR. VRScore est construit sur un test en 3D basé sur le moteur CryEngine V de Crytek, et c’est le tout premier test du genre pour la VR.
| A lire aussi : – Vidéo : VRScore 1.0, des benchmarks pour les PC et les casques VR – Diapo : 15 casques de réalité virtuelle alternatifs et prometteurs – Réalité virtuelle : quel casque choisir ? On vous dit tout ! |
Le test simule une expérience de réalité virtuelle complète, en reproduisant à la fois avec une scène scriptée en 3D et des mouvements de la tête du porteur virtuel de casque VR. Il peut se faire soit sur un casque réel (notamment pour mesurer sa latence d’affichage), soit sur un simple écran. Dans ce dernier cas, on évalue simplement les capacités de son PC pour la VR, avec un score en images par seconde.
VRTrek pour la latence
La version gratuite de VRScore se limite à ce test de performances pures. Mais les versions plus avancées s’accompagnent d’un périphérique supplémentaire, le VRTrek, qui peut mesurer la latence réelle de chaque casque VR (aussi dépendante des performances du PC, évidemment). VRTrek mesure en détail le nombre d’images par seconde effectivement affiché sur les deux écrans du casque VR, mais enregistre surtout le temps de latence entre le moment où l’image est requise par l’application et son affichage effectif sur le casque.
Le périphérique VRTrek intègre deux photodiodes, soit une pour chaque lentille du casque VR. Il capte l’affichage directement sur le casque, et renvoie un signal de captation via la prise micro du PC de test, pour ensuite que le logiciel calcul la latence. Du coup, ce système dépend aussi de la latence de la carte audio du PC, et Basemark explique que seuls les contrôleurs audio Realtek sont certifiés pour son benchmark.
Un test délicat à utiliser
Nous avons voulu utiliser notre plateforme classique de test de cartes graphiques comme base pour VRscore. Celle-ci se compose d’un processeur Core i7-5930K, de 16 Go de mémoire Crucial Ballistix Sport DDR3 et d’une paire de SSD Crucial M400. Hélas, la carte mère MSI X99S AC et son chipset audio Realtek ont posé problème : VRScore n’arrivait pas à récupérer les données de l’outil de mesure de latence VRTrek. Nous nous sommes alors rabattus – après une journée d’essais – sur une plateforme plus ancienne composée d’un Core i5-4570K, de 16 Go de mémoire DDR3 Crucial Ballistix Sport, d’un SSD Samsung 850 EVO de 500 Go, d’une carte mère Asus Z87-WS et d’une alimentation Corsair RM850.
Plateforme de test
- Carte mère Asus Z87-WS
- Intel Corei5-4570K
- Mémoire Crucial Ballsitix Sport 16 Go DDR3
- SSD Samsung 850 EVO 500 Go
- Alimentation Corsair RM850
Nous avons fait tourner VRScore avec deux cartes graphiques : une Gigabyte GTX 1080 G1 Gaming et une PowerColor RX 480 Red Devil 8Go. Bien entendu, il ne s’agit pas ici de comparer ces GPU – cela viendra plus tard – mais de montrer comment VRScore fonctionne.
| A lire aussi : – Comparatif : 164 cartes graphiques au banc d’essai – Test : comment améliorer le refroidissement de sa carte graphique – Comparatif : 15 GeForce GTX 1080 et 1070 en test – Test : Radeon RX 480, un rapport performances-prix révolutionnaire ? |
Cartes graphiques
- Gigabyte GTX 1080 G1 Gaming
- PowerColor RX 480 Red Devil 8Go
Plutôt que d’utiliser de nombreuses cartes graphiques, nous avons plutôt choisi de tester le plus de casques VR possible. nous avons donc pu mettre la main sur des Oculus Rift CV1, Rift DK2 et OSVR HDK 1.4, ainsi que sur trois Vive : Vive Pre, le modèle de Vive reçu au lancement en avril 2016 et le nouveau Vive acheté en décembre 2016 équipé du nouveau câble.
| Casques VR | Définition | Taux de rafraichissement | Définition VRScore |
|---|---|---|---|
| Oculus Rift DK2 | 1920×1080 (960×1080 par œil) | 75 Hz | 2664×1586 (1332×1586 par œil) |
| Oculus Rift CV1 | 2160×1200 (1080×1200 par œil) | 90 Hz | 2364×1464 (1182×1464 par œil) |
| HTC Vive Pre | 2160×1200 (1080×1200 par œil) | 90 Hz | 3024×1680 (1512×1680 par œil) |
| HTC Vive (avril 2016) | 2160×1200 (1080×1200 par œil) | 90 Hz | 3024×1680 (1512×1680 par œil) |
| HTC Vive (déc. 2016) | 2160×1200 (1080×1200 par œil) | 90 Hz | 3024×1680 (1512×1680 par œil) |
| OSVR HDK 1.4 | 1920×1080 (960×1080 par œil) | 60 Hz | 2880×1620 (1440×1620 par œil) |
Nous avons lancé le System Test sur chaque casque VR, avec chaque carte graphique, et avec le casque branché ou non. Le guide d’évaluation de Basemark recommande de lancer le test VRTrek trois fois puis d’en faire une moyenne. Ce guide suggère également d’éliminer tout résultat s’éloignant de plus de 2% de la moyenne.
Beaucoup de précautions nécessaires
Si VRScore fonctionne avec les casques VR les plus connus, Basemark explique qu’il est fortement déconseillé d’avoir plus d’un environnement logiciel de réalité virtuelle installé, afin d’éviter toute interférence. Par exemple, si vous avez un Oculus Rift avec le logiciel Home et les pilotes SteamVR installés, VRScore pourrait lancer le mauvais exécutable.
Basemark aurait pu se pencher un peu plus sérieusement sur la nécessité de supprimer les pilotes des autres casques VR. La désinstallation d’Oculus Home est par exemple plutôt embêtante puisque le contenu téléchargé est lié au dossier d’installation du logiciel. Sa suppression élimine au passage les dizaines de gigaoctets de contenu que vous avez téléchargé.
La désinstallation du logiciel Oculus a posé d’autres problèmes : pour une raison inconnue, il nous a été impossible de réinstaller Oculus home sur notre système après l’avoir supprimé. Le module d’installation a continuellement retourné une erreur et demandé un redémarrage. Ce problème n’est pas directement lié à l’utilitaire de Basemark, mais il s’agit d’un bug connu, sans solution. Nous avons donc été obligés de réinstallé complètement le système…
Après avoir réinstallé Windows 10, nous avons laissé Oculus Home installé lors du test de l’un des HTC Vive, ce qui n’a pas posé de problème. Il a ensuite suffit de désinstaller SteamVR avant de lancer VRScore sur le Rift. L’exécutable d’OSVR n’a pas non plus été gêné par la présence d’Oculus Home. Mais ici encore, nous avons du désinstaller SteamVR pour lancer le test correctement.
Performance des différents casques VR
Notez que le test utilise des définitions d’affichage largement supérieures à ce que peuvent afficher réellement les casques VR les plus modernes. Pour comparer les casques entre eux, VRScore génère un score en fonction de tous les tests effectués, mais ce n’est pas parfait.
Le HTC Vive plus exigeant que l’Oculus Rift
Les casques Oculus, HTC et OSVR fonctionnent à des définitions différentes dans le test VRScore. Le Vive affiche une définition réelle de 2160 x 1200 pixels, mais le test s’y effectue en 3024 x 1680 pixels (maximum du runtime SteamVR). Sur le Rift CV1, dont la définition d’affichage réelle est identique, le test s’effectue en 2664 x 1586 pixels (choix du runtime Oculus). Sur le casque OSVR, la définition de test est de 2880 x 1620 pixels. C’est la raison principale des différences de performances entre les casques.
La version DK2 de l’Oculus Rift règle une définition de test inférieure à celle des autres casques, voilà pourquoi ses résultats sont meilleurs avec VRScore.
Notre GTX 1080 G1 de Gigabyte n’a aucun mal à tenir les 90 images par seconde avec le Rift et le Vive. La RX 480 a forcément plus de difficultés, mais se débrouille bien avec le casque Oculus DK2 en Full HD à 75 Hz.
Le DK2 offre un score supérieur à celui de Vive et Rift CV1, ce qui est étonnant. Nous attendons toujours la réponse de Basemark sur ce point. A ce stade, vous l’aurez compris, il est donc difficile de comparer les casques entre eux de manière fiable. Le test permet surtout de se faire une idée sur la puissance nécessaire des cartes graphiques, mais il est possible que de nouvelles version perfectionne les résultats pour les casques.
La GTX 1080 offre des performances largement suffisantes pour tous les casques, la RX 480 a forcément plus de mal. Notez que le casque OSVR a refusé de fonctionner avec la Radeon. Peut-être que les tout derniers pilotes d’AMD règlent ce problème.
Une mesure de latence imparfaite
Le test VRTrek permet de mesurer les images perdues et dupliquées. Il peut surtout mesurer la latence entre la demande de génération de l’image par l’application et son affichage réel sur les écrans du casque VR. Pour ce faire, il envoi des pulsations de couleur blanche sur l’écran du casque pour que les photodiodes les captent. Un système qui nous paraît incomplet : il ne prend pas en compte le temps que mettent les capteurs du casque à restituer le mouvement de la tête.
Les pages de résultat de VRScore n’affichent pas encore beaucoup d’informations, mais Basemark fournit un rapport plus détaillé en ligne, qui permet notamment de comparer la machine de test à d’autres configurations. Les graphiques les plus intéressants sont ceux détaillés tout au long du test, en millisecondes (latence d’affichage, temps d’affichage des images).
Un essai nécessaire mais imparfait
Le benchmark VRScore que nous livre Basemark est intéressant. Les outils d’évaluation en réalité virtuelle sont encore trop rares, et VRScore est une tentative plutôt bien fichue de combler ce manque. Cependant elle reste encore imparfaite. Son plus gros défaut est de délivrer un score qui dépend totalement du casque VR sur lequel le test est effectué.
Les casques de plus faible résolution, comme le vieil Oculus Rift DK2, se trouvent disproportionnellement avantagés. Le DK2 a 75 Hz ressort même avec une latence « application à photon » inférieure au Vive à 90 Hz, ce qui ne devrait pas se produire. Le choix des définitions de benchmark pour chaque casque (influencé par l’environnement d’exécution, ou pilote, de chaque casque) nous semble aussi un peu arbitraire, ce qui fausse aussi la comparaison.
Vers une grande base de données pour la VR
VRScore ne se montre donc pas adapté pour comparer des casques de réalité virtuelle entre eux. En revanche, il devrait se révéler très utile pour évaluer les performances de différentes cartes graphiques ou différentes configurations en VR.
Nous aurons sûrement l’occasion de tester un plus grand nombre de composants dans VRScore, et, peut-être ainsi construire une base de données des configurations les plus adaptées pour chaque plateforme de réalité virtuelle.
