En matière de Benchmarks sur mobiles, la triche n’est pas nouvelle, note le site spécialisé AnandTech en introduction d’une longue enquête publiée mardi, portant sur la probité des marques de smartphones lorsqu’il s’agit de faire passer leurs produits sur ces fameux bancs d’essai. Destinés à estimer de manière objective les performances des processeurs de nos mobiles (entre autres), les Benchmarks seraient régulièrement détournés de leur vocation première par de nombreux constructeurs, qui utilisent – selon l’enquête – des triches permettant de booster les scores de leurs terminaux.
Une pratique malheureusement répandue dans l’industrie, indique le site. Elle forcerait certains acteurs majeurs du marché à, eux aussi, bidonner leurs benchmarks pour tenir la cadence face aux marques les moins scrupuleuses. C’est en tout cas ce qu’à admis le Dr. Wang Chenglu, le président du département logiciel de Huawei, lors d’un entretien avec AnandTech durant l’IFA.
Interrogé par AnandTech, un cadre de Huawei a admis durant l’IFA que les Benchmarks présentés par la firme (et par sa filiale Honor) étaient volontairement tronqués. Une pratique malheureusement commune dans l’industrie.
Interrogé sur les différences (notables) constatées entre les Benchmarks publiés à des fins promotionnelles par le groupe Huawei, et les résultats obtenus – sur ces mêmes bancs d’essai – par des entités indépendantes, l’intéressé a reconnu que Huawei et Honor avaient recours à des méthodes permettant d’augmenter sensiblement les performances de leurs terminaux durant les Benchmarks.
Tricher dans les Benchmarks : une « pratique banale » en Chine
Ces méthodes reposent surtout sur un système de détection des Benchmarks. Lorsqu’une application de Benchmarking comme GFXBench (par exemple) est lancée sur le smartphone en question, la détection s’opère et pousse tous les potards à fond pour permettre au SoC de fonctionner en sur-régime… mais uniquement sur la durée d’exécution de l’outil. Une pratique qui permet, d’après les mesures réalisées par AnandTech, de doubler les scores sous GFXBench (au prix d’une consommation monstrueuse) et donc de faire apparaître le smartphone comme bien plus véloce qu’il ne l’est en réalité. Pour mieux vous rendre compte du phénomène, n’hésitez pas à jeter un œil sur le tableau ci-dessous.
Si Wang Chenglu préfère dans un premier temps rappeler que les Benchmarks ne correspondent de toute façon pas à l’usage que l’utilisateur lambda a de son smartphone, le cadre de Huawei reconnait que pour ne pas perdre des parts de marché, la triche est nécessaire pour le géant de Shenzhen. L’intéressé serait d’ailleurs allé un peu plus loin en citant le nom d’une grande marque chinoise coutumière de cette triche caractérisée (AnandTech a toutefois choisi de ne pas spécifier de quelle marque il s’agit). Pour lui, la chose serait même devenue une « pratique banale » en Chine.
Wang Chenglu explique enfin qu’une solution à cette impasse serait de créer un Benchmark représentatif d’un usage classique et quotidien. Un Benchmark, selon lui, plus parlant pour la majorité des utilisateurs, que Huawei et ses partenaires chercheraient d’ores et déjà à mettre au point.
