Команда бенчмарка Geekbench і форум XDA Developers звинуватили двох найбільших китайських OEM-виробників смартфонів – OnePlus і Meizu, в маніпулюванні результатами тестування своїх пристроїв.
Так, в штучному збільшенні результатів тестування в бенчмарках AnTuTu і Geekbench були викриті смартфони OnePlus 3T і Meizu Pro 6. Обидва апарати вміють визначати запуск додатків бенчмарків, після чого їх процесори починають працювати на підвищених частотах і зберігають їх протягом всього тесту для отримання більш хороших результатів.
Так, дослідним шляхом було встановлено, що OnePlus 3T при відкритті додатків поводиться інакше, ніж конкуренти на тому ж «залізі» (тестувалися Xiaomi Mi Note 2, Google Pixel XL та інші пристрої на Snapdragon 821) – він не скидає частоту обох груп ядер до нормальних 0,31 ГГц, а зберігає 1,29 ГГц для «сильних» і 0,98 ГГц для «слабких». Звернувшись до команди Primate Labs (автори бенчмарка Geekbench), вдалося з’ясувати, що OnePlus 3T при відкритті додатків шукає файли таких додатків, як Geekbench, AnTuTu, Androbench, Quadrant, Vellamo і GFXBench, що є прямим доказом шахрайства з тестами. Остаточно підтвердили гіпотезу тести в Mini Golf-версії Geekbench (спеціально розроблена версія з іншими назвами керуючих файлів) – в холостому ходу була зафіксована очікувана частота 0,31 ГГц, а результати тестів, відповідно, нижче. Різниця склала близько 5%.
На жаль, OnePlus 3T не став єдиним мудрофоном, викритим у подібних махінаціях. Підозра XDA також впала на Meizu Pro 6 Plus. За словами авторів дослідження, Meizu реалізує схожу схема маніпуляцій в «Продуктивному режимі», який пропонується активувати під час проходження бенчмарків. При проходженні тестів в «Збалансованому» режимі ґаджет показав результат 604/2 220 балів, а в «Продуктивному» – 1 473/3 906 (завдяки активації сильних ядер). Моніторинг тактової частоти при роботі в Geekbench показав, що Meizu фіксує “слабкі” ядра на максимальній частоті у 1,48 ГГц, а два “сильних” – на частоті 1,46 ГГц. Ще два ядра працюють без обмежень і поводяться агресивно, чого не відбувається при роботі в версії “Mini Golf”. На підставі цього, автори роблять висновок, що “Продуктивний” режим зроблений виключно для бенчмарків. Щоправда, команда XDA робить обмовку на те, що фіксація тактової частоти проводилася за допомогою Qualcomm Trepn, що може бути причиною плутанини в показниках (Pro 6 Plus побудований на чіпі Exynos). Крім того, варто звернути увагу на те, що в базі Geekbench 4 смартфони серії Samsung Galaxy на чіпсеті Exynos 8 Octa показують порівнянні саме з «Продуктивним» режимом результати, а це значить, що в експериментах є прорахунок, або Samsung також замішана в махінаціях з бенчмарками.
Що цікаво, представники OnePlus вже спростували звинувачення в навмисному завищенні результатів бенчмарків, пояснивши, що для поліпшення користувацького досвіду в компанії використовують спеціальний механізм, що підвищує продуктивність смартфона при роботі з ресурсоємними додатками. При цьому вони визнали, що в числі таких програм крім “важких” ігор виявилися і бенчмарки, але пообіцяли деактивувати цей механізм при наступному оновленні OxygenOS для OnePlus 3 та OnePlus 3T. А от Meizu, зрозуміло, мовчить. XDA також повідомила, що смартфони Huawei, Xiaomi, HTC, Sony, Google поки не були викриті в подібних діях, але пообіцяли стежити і надалі за поведінкою пристроїв в бенчмарках і сподівається на подальшу співпрацю з командою Primate Labs.