Comparatif de routeurs Wi-Fi 802.11ac

Introduction

Un peu plus de deux ans se sont déjà écoulés depuis notre premier comparatif de routeurs 802.11ac. Ce dernier nous avait permis d’avoir une idée assez précise du comportement de plusieurs modèles haut de gamme, lesquels étaient récemment arrivés sur le marché, en termes de portée et de débits.

Entre le fait d’avoir conservé tout le matériel de test et notre propre curiosité, nous avons continué à effectuer des tests de temps à autres, notamment en matière de portée maximale des signaux. Nous avons par exemple placé deux routeurs sur le bord d’une des fenêtres du bureau avant de mesurer la distance à laquelle ils étaient capable d’émettre en descendant la rue qui longe nos locaux. L’un s’est montré capable de maintenir une connexion a un pâté de maisons tandis que l’autre nous a privés de signal quelques mètres plus tôt.

Le problème de cette approche tient au fait que l’on observait des résultats différents le jour suivant. Nous avons même essayé de prendre des mesures lors d’une nuit d’hiver avec une température de -7°C : les résultats étaient alors les meilleurs que nous ayons mesuré, mais notre adaptateur 11ac USB n’a manifestement pas apprécié les conditions climatiques puisqu’il a rendu l’âme dès que nous sommes revenus en intérieur (mieux vaut y aller progressivement !). La portée d’un routeur changeait heure par heure et pour ne rien arranger, il en allait de même pour les débits. Précisons que les tests en WiFi ont de fait une part aléatoire qui s’explique par le caractère variable des radiofréquences qui nous entourent, mais le fait d’augmenter la distance entre les appareils complique encore plus la donne. Ceci ne veut pas dire que le 11a constitue une régression en matière de portée par rapport au 11n, puisque notre précédent article prouve justement le contraire. Cependant, nous avons vite pris conscience du fait que mesurer la « vraie » portée/performance n’a pas vraiment de sens : à quoi bon savoir la portée exacte d’un routeur s’il faut une heure pour transférer 100 Mo lorsque l’on est à sa limite ?

En bref, nous avons décidé de ne pas reconduire les tests à longue distance. Par ailleurs, nous faisons toujours l’impasse sur les tests en Ethernet : en toute logique, c’est bien la dimension sans-fil qui nous intéresse lorsque l’on compare des routeurs Wi-Fi. L’accent est donc mis sur la technologie ainsi que l’implémentation de cette dernière dans les produits. Dans cette perspective, nous avons décidé de tester non seulement la bande passante, mais aussi la bande passante en charge. Une analyse approfondie du second point nous a paru d’autant plus essentielle du fait qu’il implique la prise en compte du temps qui passe. En réfléchissant au protocole de test, deux cas nous ont semblé importants : premièrement, quel est le rendement en charge des routeurs avec de multiples flux ? Il était possible de conduire les tests avec un certain nombre d’appareils WiFi sans pour autant que ces derniers correspondent à l’environnement de chacun d’entre nous, ou encore d’utiliser IxChariot pour créer plusieurs clients virtuels. Bien entendu, la seconde approche s’est avérée bien plus facile à mettre en œuvre et nettement plus fiable.

Deuxièmement, nous avons essayé de prendre en compte les problèmes de maintien des performances que l’on rencontre en environnement réel lorsque l’on a plusieurs clients, à savoir les interférences. Tous les appareils WiFi émettent des signaux parasites et, lorsqu’ils sont connectés, sont en concurrence au niveau du trafic. Certains routeurs s’accommodent de cette situation mieux que d’autres, raison pour laquelle nous avons souhaité les opposer dans ce domaine.

Pour résumer, nous avons cherché à combler les manques du précédent article. Entre le fait que nous avions donc gardé les routeurs utilisés il y a deux ans et que certains d’entre nous ont probablement acheté l’un d’entre eux depuis, nous avons gardé les meilleurs tout en ajoutant quelques nouveaux modèles. Ceci permettra peut-être de voir si les progrès accomplis au niveau des routeurs 802.11ac se traduisent par une vraie hausse de performances en conditions réelles. Le but est donc d’examiner les performances 802.11ac de plus près, ainsi que de prendre en compte certains aspects utiles lorsque l’on doit choisir un nouveau routeur.

Les routeurs

Amped Wireless RTA15

Lorsque Amped Wireless a débarqué sur le marché des routeurs 11ac en 2013, la marque américaine a cherché à se faire un nom en matière de performances et de portée en promettant « une couverture jusqu’à trois fois plus importante que celle des routeurs 802.11ac standards ». Cette promesse s’appuie sur les composants embarqués, à savoir trois antennes 5 dBi et un total de 10 amplificateurs : deux modèles 700 mW dédiés à la bande 2,4 GHz, quatre 700 mW pour la bande 5 GHz et enfin quatre amplificateurs à faible bruit.

Le RTA15 fournit un débit maximum théorique de 300 Mb/s sur la bande 2,4 GHz et 867 Mb/s sur la bande 5 GHz, ce qui en fait un routeur AC1200 tout de même vendu 160 $ (pas encore distribué en Europe). Du fait que le RTA15 utilise une configuration d’antennes 2×2, l’AC1200 constitue le maximum atteignable : une configuration 3×3 permet potentiellement d’augmenter les débits 2,4/5 GHz à 450/1300 Mb/s respectivement, ce qui explique pourquoi les routeurs bi-bande 3×3 sont généralement présentés comme étant « AC1750 ». Naturellement, les routeurs AC1750 coûtent plus cher. Nous avons donc cherché à savoir si un AC1200 « dopé » comme le RTA15 pouvait se défendre face aux modèles AC1750 ou bien s’il subirait le même sort que le catastrophique Belkin AC1200 DB testé en 2013.

Asus RT-AC66U

L’AC66U était ressorti très largement vainqueur de notre précédent comparatif, notamment en raison de sa configuration 3×3 (AC1750) qui lui permet d’atteindre des résultats impressionnants.

Nous sommes particulièrement curieux à l’idée d’opposer ce modèle aux routeurs à quatre ou six antennes de la marque afin de voir à quel moment le rendement décroit (si tel est le cas) au fur et à mesure que le nombre d’antennes et les prix augmentent. Pour le moment, reste à voir si l’AC66U est en mesure de garder sa couronne avec un protocole de test plus exigeant. Notons enfin que si ce routeur coûtait environ 190 € à son lancement, on le trouve à présent pour 120 €.

Netgear R6300

A défaut d’avoir terminé premier du précédent comparatif, le R6300 s’était distingué par des performances correctes. Nous avons donc voulu savoir si sa configuration 3×3 ne nous réservait pas quelques surprises avec le changement de protocole de test : désormais vendu à 118 €, le R6300 pourrait s’avérer être un bon rapport performances/prix. Avant d’être fixés, on remarque que Netgear est revenu à un système d’antennes externes sur le successeur du R6300, à savoir le Nighthawk. Faut-il comprendre que la marque américaine a retenu une quelconque leçon ?

Netgear Nighthawk R7000

Sachant que le R7000 utilise bien une configuration d’antennes 3×3, on peut se demander pourquoi Netgear le présente comme étant un modèle AC1900 plutôt que AC1750. En y regardant de plus près, on constate que le débit maximal sur la bande 5 GHz est bien de 1300 Mb/s comme attendu. En revanche, le débit maximal théorique atteint 600 Mb/s sur la bande 2,4 GHz à condition que le client dispose d’un « mode performance » permettant de gérer 256-QAM (modulation d’amplitude en quadrature). Manque de chance, notre carte WiFi client (Asus PCE-AC68) qui est un des rares modèles disponibles en 802.11ac plafonne à 64-QAM. Plus globalement, même les dernières cartes WiFi haut de gamme d’Intel pour portables, les 7260 et 7265, sont des produits en configuration 2×2 AC1200. Il nous semble donc que les capacités des cartes client actuelles constituent un goulet d’étranglement. Certains sites ont tout de même examiné les performances client AC1900 et les ont jugées équivalentes à celles obtenues en AC1750 dans le meilleur des cas. Quoi qu’il en soit, le Nighthawk R7000 est le plus cher de notre panel puisqu’il se positionne à 173 €.

Configuration du test

Nous avons conduit trois tests de base. Pour commencer, nous avons créé un dossier de 2 Go contenant des centaines de fichiers MP3, exécutables et documents bureautique divers. Ce dossier a ensuite été utilisé pour tester les débits ascendants et descendants. Nous nous sommes ensuite appuyés sur le test réseau proposé par PassMark PerformanceTest 8. Comme d’habitude, les performances sont essentiellement analysées via Ixia IxChariot et plus particulièrement deux des scripts proposés par le logiciel. Sauf remarque contraire, nous avons transféré 100 enregistrements avec le script débit TCP haute performance et 1000 enregistrements avec le script débit UDP.

Les tests sont explicités dans les pages qui suivent, mais nous souhaitons mettre tout de suite en garde contre la notion de produit « gagnant » sur chacun des benchmarks. A de nombreuses reprises, le routeur qui se distingue n’est pas le plus rapide : en matière de trafic réseau et tout particulièrement le trafic sans-fil utilisé pour le streaming vidéo, les performances minimum sont plus importantes que les performances maximales. En effet, peu importe la vitesse (de pointe) à laquelle les données arrivent lorsque l’on cherche à maintenir 30 ips. Ce qui importe, c’est de ne pas avoir de chutes de débit qui se traduisent par des images manquantes ou des pauses nécessaires pour la mise en tampon. Nous avons donc choisi de pondérer les résultats pour donner la prime aux débits moyens soutenus. Ceci étant dit, lorsque deux scores moyens étaient très proches, nous avons généralement fait notre choix en fonction de la plus faible durée de transfert.

Tests de référence sur bande 5 GHz

La plupart des tests ont été effectués dans un salon avec configuration principale et routeur à une extrémité de la pièce, le client n°1 à l’opposé. La connexion se faisait donc sans obstacle à une distance d’environ neuf mètres. Pour tous ces tests, les routeurs ont été paramétrés afin de chiffrer les connexions en WPA2 vu qu’il s’agit du protocole de plus répandu chez les particuliers.

Précisons que le dossier de 2 Go utilisé pour les transferts ci-dessous est une archive ZIP contenant plusieurs centaines de petits fichiers (MP3, documents etc.) : ceci permet d’isoler les résultats du temps de latence nécessaire à l’envoi d’une multitude de fichiers au lieu d’un seul.

Ce test n’a rien de sorcier : il s’agit d’un simple transfert qui nous donne un repère dans des conditions assez idéales. L’Asus RTAC66U sort vainqueur, tandis que le Netgear R6300 a le mérite d’avoir le plus faible écart entre transfert ascendant/descendant.

PassMark PerformanceTest 8 permet lui aussi d’évaluer les débits de manière simple,  à la différence près que l’on peut apprécier les performances du trafic TCP séparément de celles en UDP. Le débit UDP est presque systématiquement plus élevé que le TCP dans la mesure où le second dispose de routines pour la vérification d’erreurs et procède au renvoi des éventuels paquets de données perdus (ce qui n’est pas le cas en UDP). Voici un exemple de l’écart potentiellement extrême entre TCP (à gauche) et UDP (à droite) que nous avons constaté sur notre routeur Asus à conditions de test constantes, dans un environnement différent de celui utilisé pour ce comparatif.

Revenons aux comparaisons sous PassMark :

Etant donné que l’on voit à quatre reprises des débits atteindre une plage allant de 410 à 413 Mb/s, il est clair que les performances sont plafonnées avec les paramètres de ce benchmark. Notons cependant que si trois des quatre routeurs atteignent ce niveau en UDP, seul le Nighthawk R7000 y parvient en TCP. Le RTA15 est donc le seul modèle à ne pas être au niveau de la concurrence en UDP, mais il n’en est pas trop loin. Voyons maintenant si les tests en profondeur avec IxChariot corroborent les premiers résultats obtenus.

Ce graphique illustre parfaitement ce que nous évoquions dans la configuration du test : lorsque deux scores moyens sont très proches, nous avons décidé de mettre en avant le routeur proposant le meilleur débit minimum. On voit ici que nos trois routeurs 3×3 proposent des débits moyens et maximum similaires en TCP sur la bande 5 GHz, mais l’Asus RT-AC66U parvient à maintenir un débit minimum deux fois supérieur à ceux des deux routeurs Netgear. Le modèle d’Amped Wireless s’en tire lui aussi assez bien, ce qui nous pousse à penser que l’amplification des signaux pourrait peut-être compenser une configuration 2×2.

Lorsque le test a été exécuté sur l’Amped RTA15, IxChariot nous a gratifiés d’une alerte CHR0336 : les enregistrements UDP ont été reçus dans des délais variant d’une à vingt millisecondes. Alors que les trois autres routeurs ont connu des variations relativement mineures, l’Amped RTA15 s’est montré particulièrement irrégulier :

Voici en comparaison ce que l’on observe sur le Nighthawk, autrement plus régulier :

Ce constat va se répéter dans les pages qui suivent : l’Amped RTA15 est à la peine avec l’UDP en général, surtout sur la bande 5 GHz.

Précisons enfin que l’on observe ici des résultats en TCP sur la bande 5 GHz nettement supérieurs à ceux obtenus en UDP. Ce n’est généralement pas le cas en conditions réelles comme nous avons pu le voir au travers de PerformanceTest, mais comme nous l’avions évoqué lors du précédent comparatif, IxChariot utilise visiblement une implémentation particulière des deux protocoles qui chamboule leurs performances relatives.

Tests de référence sur bande 2,4 GHz

Bien que le RTA15 ait été à la peine sur le précédent benchmark, il retrouve des couleurs avec le transfert de l’archive 2 Go sur la bande 2,4 GHz : légèrement en tête dans le sens client vers serveur, ses performances dans le sens serveur vers client sont tout simplement sans égal ici. L’Asus RT-AC66U termine en deuxième position loin derrière, tandis que le Netgear R6300 rencontre des problèmes dans le sens client vers serveur. Nous verrons un peu plus loin s’il s’agit d’un véritable problème ou bien d’une anomalie.

Les résultats sont plus serrés sous PerformanceTest, mais l’Amped RTA15 conforte sa position au sommet sans souffrir de problèmes UDP comme nous l’avons vu sur la bande 5 GHz. Certes, deux routeurs font mieux en UDP, mais il est tout de même parvenu à surpasser le Netgear R6300 malgré la configuration 3×3 de ce dernier. En TCP, il s’agit tout simplement du modèle le plus performant du panel.

Le RTA15 est par ailleurs le routeur disposant du meilleur score combiné sur ce test. A nos yeux, ceci élimine toute spéculation d’une possible supériorité sur la bande 2,4 GHz de l’AC1900 sur l’AC1750 en l’absence de compatibilité 256-QAM au niveau la carte client. Le plus surprenant est le fait qu’un routeur 2×2 soit capable de surpasser trois routeurs 3×3 ici, et ce malgré les prétentions du Nighthawk en matière debeamforming. Visiblement, la puissance du signal est parfois plus importante.

Une fois encore, l’Amped RTA15 termine en tête. Ses performances TCP 2,4 GHz sous IxChariot sont correctes en matière de débits minimum, mais c’est surtout le débit moyen qui est remarquable : celui-ci est si proche de sa performance maximum que le routeur d’Amped Wireless affiche un résultat presque 50 % supérieur à celui de ses deux plus proches rivaux. En parallèle, les performances moyennes du R6300  sont plus de deux fois inférieures à celles du Nighthawk et de l’Asus RT-AC66U. Avec 10,71 Mb relevés, ses performances minimum sont tout simplement atroces.

Lorsque l’on passe au protocole UDP, le RTA15 perd de sa superbe mais parvient tout de même à devancer le Nighthawk à nos yeux grâce à ses performances minimum largement supérieures (102,46 Mb/s contre 42,6 Mb/s). Le Netgear R6300 est à nouveau au supplice en matière de débits minimum, alors que son débit de pointe est tout à fait correct. Ceci lui permet de finir avec une moyenne acceptable bien qu’inférieure à celle des trois autres routeurs. Globalement, on retient de ce graphique que les performances UDP moyennes sur la bande 2,4 GHz varient relativement peu entre trois des quatre modèles, confirmant ainsi ce que l’on avait observé sous PerformanceTest.

Performances sans chiffrage

Avant l’apparition de l’AES-NI et autres jeux d’instructions pour l’accélération matérielle, le chiffrage était un exercice aussi lourd qu’exigeant pour les processeurs, au point d’être dix fois plus chronophage (voire pire) à défaut d’accélération matérielle. De la même manière, les routeurs souffraient d’une baisse de performances dès lors que l’on activait le chiffrage, ce qui poussait certains utilisateurs à le désactiver. Il nous a donc semblé intéressant de voir si le fait de ne pas chiffrer les connexions permet encore de faire progresser les débits.

Les résultats obtenus sur les transferts d’archive 2 Go sont globalement irréguliers par rapport à ce que l’on avait observé en page 4. L’Amped RTA15 voit ses performances reculer sans chiffrage, surtout dans le sens client vers serveur. L’Asus RT-AC66U connait lui aussi une baisse de performances tandis que le Nighthawk progresse dans le sens client – serveur tout en régressant dans le sens serveur – client. Précisons toutefois que les écarts mesurés pour ces trois routeurs correspondent plus ou moins à la variance d’un test à l’autre. C’est donc le R6300 qui constitue une exception puisque ce dernier voit ses performances progresser de 10 à 20 %, ce qui lui permet de passer en première position de ce test. Soit le R6300 est bridé par le chiffrage, soit il s’agit d’un coup de chance ou encore de variations dans les conditions ambiantes du reste. Voyons ce qu’il en est.

On en conclut donc qu’il s’agit soit de chance, soit de variations dans les conditions de test : le R6300 perd cette fois 10 à 20 % de performances sans chiffrage. Le Nighthawk accuse lui aussi une baisse d’environ 10 % mais spécifiquement en TCP, tandis que les modèles d’Amped et Asus progressent. Il est pour le moins difficile de tirer des conclusions à ce stade.

Les résultats en TCP sous IxChariot font apparaitre trois routeurs en régression sans chiffrage. L’Amped Wireless RTA15 est le seul à progresser, de manière tellement impressionnante qu’il finit en première place.

Précisons que ces tests ont été répétés à plusieurs reprises pour s’assurer de leur cohérence. Les performances en TCP sur l’Asus et le Nighthawk varient très peu en fonction de l’activation/désactivation du chiffrage, tandis que l’Amped RTA15 passe d’une situation où il souffrait d’énormes variations à des performances tout à fait cohérentes et régulières (ce qui lui permet de s’imposer ici au passage). A l’opposé, le Netgear R6300 semble avoir repris le comportement erratique du RTA15 avec chiffrage. Tout ceci est assez déconcertant.

Passons maintenant aux benchmarks sur la bande 2,4 GHz.

Rappelons que le plus faible score est le meilleur ici puisque l’axe des abscisses représente la durée écoulée en secondes. Les modèles d’Amped Wireless et Asus se révèlent donc plus lents sans chiffrage, le Nighthawk progresse mais c’est surtout le R6300 qui impressionne puisqu’il passe de la dernière position (sans chiffrage) à la première en devançant légèrement le Nighthawk.

Alors que l’on aurait pu penser à ce stade que le fait d’activer le chiffrage pouvait améliorer les débits d’une manière ou d’une autre, on constate ici que le fait de le désactiver engendre la progression à laquelle on s’attendait dans trois cas sur quatre. Notons que ces trois routeurs ont surtout vu leurs débits TCP progresser sans chiffrage ; est-ce une coïncidence ?

Une fois encore, trois routeurs voient leurs performances diminuer sans chiffrage, ce qui invalide l’éventuel lien entre l’absence de chiffrage et l’amélioration des débits en TCP. Seul le R6300 se distingue en rapportant une progression, tandis que l’Amped RTA15 perd sa première place au profit de ce dernier.

Les résultats en UDP ressemblent beaucoup à ceux obtenus en TCP. La seule chose qui nous frappe dans ce dernier graphique est l’uniformité des performances d’un routeur à l’autre.

Tout compte fait, on peut dire sans prendre de risques que l’activation du chiffrage sur les routeurs n’entraine pas de baisse de performances statistiquement significative.

Performances avec interférences

Afin de rendre ce test aussi complet que possible, il nous a paru essentiel de mesurer les conséquences des interférences sur le 802.11ac. Les possibilités sont très nombreuses en matière d’approche, depuis les émetteurs radio industriels jusqu’au four à micro-ondes. Par souci de simplicité et de reproductibilité, nous avons décidé d’utiliser un de nos propres routeurs comme source d’interférences : le Nighthawk a été configuré comme adaptateur sur le même canal, branché sur un netbook client puis posé sur une table à environ 60 cm de hauteur par rapport au routeur testé. Précisons que le Nighthawk était aligné avec les routeurs successivement testés ainsi que le notebook positionné à l’opposé dans la salle de test. Lorsque le moment est venu de tester le Nighthawk, nous avons utilisé le modèle d’Asus comme source d’interférences : concrètement, le routeur tirait un flux Netflix en continu depuis le réseau local. Vu la nature multicanale du MIMO, il nous était clairement impossible de saturer tous les canaux des routeurs testés, mais cette approche a tout de même le mérite de tester la capacité des différents modèles à gérer le trafic concurrent.

Comme nous l’avons fait pour le chiffrage, les résultats observés en page 4 nous servent de base de comparaison. Dans trois cas sur quatre, les performances ont reculé en raison des interférences sur la bande 5 GHz. Curieusement, le R6300 gagne environ 15 % sur son transfert serveur vers client, alors que tous les autres routeurs souffrent des interférences, surtout l’Amped RTA15 et le Nighthawk.

Tous les routeurs régressent dans notre benchmark sous PassMark : à titre de comparaison, trois modèles se situaient aux alentours de 410 Mb/s en UDP sans interférences. Seul le Nighthawk parvient donc à maintenir son débit en UDP tandis que l’Amped RTA15 souffre en UDP comme en TCP. A la lumière de ces résultats et de deux du transfert d’archive, on se demande si la configuration d’antennes 2×2 de ce dernier le rend plus sensible aux interférences sur la bande 5 GHz.

On constate ici une autre anomalie : le Nighthawk  parvient à surpasser ses propres performances sans interférences, ainsi que celles du R6300 sur ce graphique. Le R6300 a pour sa part un meilleur débit minimum, mais la baisse de son débit minimum finit par faire reculer sa performance moyenne. Les routeurs d’Asus et Amped subissent quant à eux une pénalité vraiment importante du fait des interférences.

Comme l’on pouvait s’y attendre, l’écart des performances en UDP est assez faible entre l’environnement sans interférences et avec interférences, vu que les paquets ne sont pas envoyés à nouveau en cas d’échec. Observons maintenant les résultats du Nighthawk en 5 GHz sous IxChariot, ceux avec interférences étant à droite.

La ressemblance est frappante. Certes, les résultats avec interférences comportent moins de pics vers les 140 Mb/s, mais dans l’ensemble, le routeur de Netgear ne semble que très peu affecté par les interférences.

Voyons maintenant si l’on peut faire les mêmes constats la bande 2,4 GHz.

D’emblée, la réponse semble être négative. Le débit en TCP est littéralement en chute libre : l’Asus RT-AC66U a par exemple nécessité presque 1550 secondes pour finir le test client vers serveur, soit quasiment une demi-heure ! Bien entendu, le test a été répété à plusieurs reprises afin de confirmer les résultats présentés. Le Nighthawk termine premier ici pour la simple raison que la durée des transferts n’est pas multipliée par deux ou trois à défaut d’être vraiment satisfaisante.

Ces mauvais résultats se confirment sous PassMark : tous les routeurs sont à la peine. L’Asus RT-AC66U avait eu notre préférence lors du précédent comparatif et pourtant, son débit en UDP est presque divisé par 13. Une fois encore, le Nighthawk est le routeur qui résiste le mieux aux interférences.

Quitte à nous répéter, attention à l’axe des abscisses qui pourrait être trompeur. L’Amped Wireless RTA15 a fini premier du benchmark 2,4 GHz de référence, mais avec interférences, il perd environ les deux tiers de ses débits. L’Asus RT-AC66U fait également un beau plongeon tandis que le R6300 résiste un peu mieux mais reste dernier à nos yeux. Avec une baisse limitée à 20 % seulement, le Nighthawk sort clairement du lot.

Ce dernier graphique montre que les conséquences des interférences sont quasiment les mêmes que l’on soit en TCP ou en UDP. Le Nighthawk fait encore une fois figure de référence, tandis que les résultats du RT-AC66U devraient donner de quoi réfléchir à Asus pour leurs futurs produits : les interférences sont mal gérées.

Performances avec distance & obstacles

Afin d’évaluer la portée des routeurs, nous avons déplacé notre configuration client à l’étage inférieur de la maison et à l’opposé de la configuration serveur, ajoutant ainsi des obstacles significatifs (deux murs et un étage) en plus de la distance.

S’il y avait encore des doutes quant à la nécessité d’avoir trois antennes, avec ou sans suramplification, ce benchmark a le mérite de mettre les points sur les i. Les écarts entre Asus, R6300 et Nighthawk sont presque insignifiants en comparaison.

Toute inquiétude quant au fait de voir les débits plafonner sous PassMark est complètement évacuée : le Nighthawk est le routeur qui s’en sort le mieux sachant que son débit en TCP est divisé par deux par rapport au test de référence. L’Asus RT-AC66U voit ses débits diminuer dans des proportions similaires tandis que le pauvre Amped RTA15 doit se contenter de 10 % de son débit d’origine dans ces conditions (~21 mètres de distance avec obstacles).

Les résultats en TCP sous IxChariot ressemblent beaucoup à ceux que nous venons d’observer sous PassMark. Le Nighthawk survole une fois encore les débats en ne perdant « que » la moitié de son débit tandis que la concurrence souffre encore plus.

Notons qu’en UDP, les deux routeurs Netgear parviennent à préserver des débits moyens quasiment identiques malgré les contraintes. L’Asus RT-AC66U voit sa performance minimale chuter mais parvient tout de même à maintenir un bon débit moyen. Seul l’Amped RTA15 se retrouve donc dans une situation difficile.

On peut en conclure la chose suivante : lorsque l’on échange des données à longue distance et/ou avec des obstacles, a fortiori si l’on utilise la bande 5 GHz dont la portée est plus courte de nature que la bande 2,4 GHz, mieux vaut privilégier l’UDP (comme le streaming vidéo par exemple) et s’assurer d’avoir un routeur à trois antennes minimum.

Voyons à présent ce qu’il en est sur la bande 2,4 GHz.

Une fois encore, la distance et les obstacles font exploser la durée des transferts, à deux exceptions près. S’agissant des transferts client vers serveur, l’Asus RT-AC66U ne perd que 20 % de ses performances. Le Nighthawk voit ses performances divisées par deux sur ce même transfert, mais dans le sens serveur vers client, il ne met que deux secondes supplémentaires par rapport au benchmark de référence pour finir le transfert.

Sous PerformanceTest, les routeurs abandonnent environ la moitié de leurs débits d’origine une fois que l’on ajoute de la distance et des obstacles. Plus important, l’écart entre TCP et UDP s’efface pour tous les modèles sauf l’Asus RT-AC66U qui parvient à maintenir un meilleur débit UDP, ce qui lui permet de remporter ce test.

Le Nighthawk fait à nouveau étalage de sa force sous IxChariot avec une baisse très contenue de ses débits TCP, alors que les trois autres modèles voient leurs performances divisées par deux au minimum.

Ce dernier graphique nous permet de dresser le même constat en UDP.

IxChariot : TCP et UDP avec connexions multiples

Cette avant-dernière série de benchmarks est peut-être la plus intéressante. Si la majorité d’entre nous n’a pas de problèmes extraordinaires en matière d’interférences ou de distances, nous sommes pratiquement tous concernés par le nombre croissant de clients se connectant à nos réseaux. Entre tablettes, smartphones, PC fixes et portables, on se retrouve très rapidement avec plusieurs vidéos lues en simultané, plus untel qui utilise le Web etc. Le fait d’avoir six clients réseaux simultanément actifs au sein d’un foyer n’est plus une idée folle. Mieux vaut espérer que certaines de ces machines soient reliées au réseau en Ethernet dans ce genre de cas, mais ce n’est pas toujours possible. En clair, il faut avoir un routeur capable de tenir le coup pour satisfaire tout le monde si le goulet d’étranglement ne vient pas du débit de la ligne en premier lieu.

Il est délicat d’élaborer un protocole de test à la fois fiable et reproductible lorsqu’il s’agit d’utiliser deux, quatre et enfin huit clients en simultané. Fort heureusement, IxChariot propose des simulations dites « multipair » permettant de reproduire ces cas de figure tout en faisant la distinction entre TCP et UDP.

Précisons que les tests de référence en page 4 et 5 n’utilisaient qu’une « paire » de flux, c’est-à-dire l’émission vers le client et depuis le client. Dans les tests qui suivent, nous simulons donc plusieurs clients. Sous réserve que le routeur puisse supporter la charge supplémentaire, on devrait constater un échelonnement des performances au fur et à mesure que l’on ajoute des paires. Pour prendre une analogie, imaginons que l’on cherche à savoir combien de personnes par minute peuvent prendre un escalator étroit. On peut obtenir une valeur de référence en envoyant les gens un par un. Si l’on répartit les personnes par paire en les faisant se tenir la main, peut-être qu’ils seront un peu à l’étroit, mais on mènera bien plus de gens à l’arrivée en l’espace d’une minute. On pourrait voir une amélioration en envoyant les gens par groupe de quatre, mais il est également possible qu’ils jouent des coudes pour se faire de la place au point de ralentir la cadence. Quand on arrive aux groupes de huit personnes, mieux vaut avoir quelqu’un pour réguler le trafic au pied de l’escalator sous peine de se retrouver avec une situation chaotique.

Les résultats obtenus en page 4 et 5 sont à nouveau proposés en guise de référence. Rappelons que seuls les débits moyens nous intéressent.

L’Amped RTA15 parvient clairement à améliorer sa situation au fur et à mesure que le nombre de clients augmente, même si la progression est modeste. L’écart entre un client et huit clients n’est que de 13 %, sachant que le débit n’évolue presque pas entre quatre et huit clients. Malheureusement pour Asus, le RT-AC66U est à la traine même avec deux clients. Le débit progresse avec quatre clients mais on est loin du niveau de performances observé avec un seul et unique client. Il en va de même pour le R6300 et c’est donc le Nighthawk qui est le seul à voir ses performances augmenter au fur et à mesure que le nombre de clients augmente. Certes, la progression est assez faible entre quatre et huit clients, mais le Nighthawk a le mérite de ne jamais faiblir sous la charge.

Pour aller plus loin, regardons dans le détail les performances de l’Asus RT-AC66U et du Nighthawk avec huit clients :

De manière générale, les routeurs proposent des performances très disparates d’un client à l’autre durant les 10 à 20 premières secondes du test. C’est un peu comme si les routeurs allouaient les ressources et organisaient les flux à la volée. Passé cette étape, les flux sont très similaires les uns des autres. Ceci étant dit, le RT-AC66U peine à maintenir un débit de données régulier tout au long du test. En comparaison, le graphique du Nighthawk est impressionnant de régularité.

En passant de la bande 5 GHz à 2,4 GHz tout en restant en TCP, le constat change. Les routeurs d’Asus et Amped ne montrent aucun échelonnement de performances passé un client. Curieusement, le R6300 parvient à doubler ses performances lorsque l’on passe d’un à deux clients, mais l’échelonnement s’arrête là. Le Nighthawk connait également une progression en passant d’un à deux clients mais comme le R6300, il plafonne rapidement. Bien que le RTA15 propose le meilleur débit en charge ici, le Nighthawk remporte ce test au motif que le RTA15 a vu son débit diminuer de 20 % par rapport au test de référence.

En matière de streaming, l’UDP est primordial. Nous avons délibérément limité les tests à deux et quatre paires vu qu’aucun des routeurs ne pouvait gérer huit paires sans qu’IxChariot n’envoie des messages d’alerte ou que les résultats fassent apparaitre une impressionnante quantité de données perdues. Bien qu’il n’y ait pas de ratio « officiel » à ce sujet, nous estimons qu’une perte de données supérieure à 25 % rend les débits insignifiants. Pour prendre un exemple, un test à deux paires en UDP devrait transmettre 2000 relevés compte tenu de notre protocole de test. Si l’on n’obtient que 1000 relevés à l’arrivée, 50 % des données transmises ont été perdues. Difficile de se satisfaire de ce qui revient à un demi-flux !

Une fois encore, le Nighthawk est clairement le meilleur : si tous les routeurs parviennent à augmenter leurs performances UDP sur la bande 5 GHz au fur et à mesure que le nombre de clients augmente, les pertes de données sont considérables dès quatre clients pour tous les modèles sauf celui de Netgear.

L’échelonnement des performances en UDP sur la bande 2,4 GHz s’avère encore décevant. Si le Nighthawk reste le seul routeur à ne pas renvoyer d’erreurs ou souffrir de pertes de données massives, même lui est incapable d’augmenter son débit au-delà d’un seul client. L’Amped RTA15 sort vainqueur de ce test vu qu’il est le seul à afficher un échelonnement positif aussi faible qu’il soit, mais nous préférons tout de même le Nighthawk dans cet exercice vu qu’il garantit des flux de meilleure qualité.

Connexions multiples et bi-bande sous IxChariot & conclusion

Les choses se compliquent pour ce dernier test. Il est assez irréaliste d’imaginer plusieurs personnes utiliser le même type de données à partir du même endroit, ou encore être tous sur la même bande radio si on leur en donne le choix. Nous avons donc utilisé notre notebook prototype AMD sur la bande 5 GHz en 802.11ac tandis que l’autre portable était utilisé sur la bande 2,4 GHz en 802.11n. Au vu des résultats observés sur la page précédente, il nous a semblé que quatre flux concurrents constituaient une charge suffisante dans l’absolu, également capable de représenter une situation réelle. Toujours dans cette optique, une partie des données a été relevée en alignant clients et serveur au sein de la même pièce, puis à environ 4,6 mètres de distance dans la pièce suivante au travers d’un mur.

Par ailleurs, il nous a fallu pour la première fois ajuster le nombre de relevés dans les scripts d’IxChariot : avec 100 relevés pour chacun des deux clients, le client 11ac terminait le test bien avant le client 11n, or IxChariot s’arrête dès lors que l’un des deux tests est terminé. Il aura donc fallu augmenter le nombre de relevés en 802.11ac pour avoir des résultats plus fiables.

Ce graphique n’est pas évident à analyser au premier coup d’œil. Les valeurs représentent le total cumulé pour quatre paires, deux sur la bande 5 GHz et deux sur la bande 2,4 GHz. Les bandes bleues illustrent la situation dans laquelle le trafic 5 GHz se fait au sein d’une seule et même pièce tandis que les configurations sont séparées pour le trafic 2,4 GHz. Dans le cas de l’Amped RTA15 par exemple, les deux flux 5 GHz pointent à 111,7 et 125,296 Mb/s, tandis que les flux 2,4 GHz sont à 22,3 et 23,89 Mb/s.

Cette disparité s’est manifestée dans tous les cas, le record ayant été mesuré sur le Netgear R6300 : avec les flux 2,4 GHz dans la même pièce et les flux 5 GHz au travers d’un mur, nous avons relevé respectivement 13,8 et 185 Mb/s. Quel que soit le cas de figure, le R6300 a toujours affiché des débits compris entre 13 et 19 Mb/s sur la bande 2,4 GHz alors que les autres routeurs maintenaient au moins 20 Mb/s en toutes circonstances.

L’Amped RTA15 a eu du mal à dépasser les 100 Mb/s sur la bande 5 GHz tandis que le Nighthawk dépassait les 200 Mb/s lors des tests dans la même pièce. Au final, si l’Amped RTA15 surpasse légèrement le Nighthawk dans un cas de figure, il se fait balayer par ce dernier dans les trois autres cas. Par ailleurs, le R6300 nous a surpris : malgré des résultats faiblards sur la bande 2,4 GHz, ses débits moyens lui ont tout de même permis de s’assurer la deuxième place.

Pour finir, nous avons effectué un test dans une seule et même pièce en utilisant les bandes 2,4 GHz et 5 GHz ainsi qu’une connexion Ethernet Gigabit : le but est de voir si un tel afflux de données peut avoir des conséquences sur les deux flux WiFi restants.

Comme on peut le voir ci-dessus, les débits peuvent atteindre et même dépasser les 900 Mb/s en TCP. Le trafic en UDP est beaucoup plus lent. Notons que l’Amped RTA15 dont on avait critiqué un peu plus tôt les performances en UDP surpasse les trois autres modèles sur la bande 2,4 GHz.

La quantité de données derrière ce graphique est vraiment conséquente et l’on aimerait proposer des graphiques point par point, mais les maux de tête arriveraient alors assez vite. Voici donc quelques points importants.

Idéalement, on aimerait voir le même niveau de performances sur les clients sans-fil par rapport aux clients filaires. Ceci arrive parfois : en UDP sur la bande 5 GHz, l’Amped et le Nighthawk sont respectivement le plus lent/le plus rapide des routeurs. L’écart entre le flux de plus lent et le plus rapide, qu’ils soient filaires ou WiFi, n’était que de 7 Mb/s. C’est un peu comme si l’on avait demandé à IxChariot de maintenir les débits entre 110 et 115 Mb/s. Ceci étant dit, les autres tests n’ont pas proposé une telle uniformité. En TCP sur la bande 2,4 GHz, l’Amped RTA15 propose en moyenne 72 Mb/s en WiFi contre 370 Mb/s en Ethernet. Sur le même test, le Netgear R6300 propose 31 Mb/s en WiFi contre 413 Mb/s en Ethernet.

D’une manière générale, c’est dans un contexte WiFi 5 GHz/Ethernet que les routeurs parviennent à la meilleure homogénéité en multi-client. En TCP, le trafic Ethernet bénéficie clairement d’une priorité, tout comme c’est le cas à un degré moins important pour l’UDP sur la bande 2,4 GHz : le débit en Ethernet est alors un peu plus de deux fois supérieur à celui du trafic WiFi 2,4 GHz.

Conclusion

Que peut-on en conclure ? Première chose, il est aujourd’hui très difficile de recommander un routeur n’ayant pas trois antennes au minimum. L’Amped Wireless RTA15 s’est bien défendu à plusieurs reprises et nous avons été impressionnés par la suramplification des signaux par rapport à la concurrence, mais le manque d’une troisième antenne se fait clairement sentir.

Netgear a fait des progrès incroyables entre sa première génération de routeurs 802.11ac dont est issu le R6300 pour arriver aux Nighthawk. Le R7000 que nous avons testé nous a impressionnés et nous sommes curieux de voir ce qu’apportent les antennes supplémentaires sur les R7500 et R8000, mais ce sera pour une prochaine fois.

En attendant, cet article aura permis d’aller plus loin sur le comportement des routeurs 802.11ac suivant des conditions de test plus ou moins difficiles. Les résultats montrent que les spécifications du standard 802.11ac ne sont pas implémentées de la même manière d’un routeur à l’autre. Les 20 à 30 euros supplémentaires que nécessitent un modèle haut de gamme peuvent vraiment changer la donne, surtout lorsque l’on a un nombre de clients en augmentation sur un seul et même réseau.