UL vyřazuje výsledky Huawei a Honor pro údajné podvody
Historie se opakuje. Co se řeší nyní ve vztahu ke značkám Honor a Hauwei, se řešilo již před pěti lety ve vztahu k HTC a Samsungu. Oč jde: Futuremark tehdy prohlásil, že HTC a Samsung v jeho syntetických testech vykazuje nižší (než ostatní telefony se stejnými čipy) či žádný throttling a toto nastavení výrobce označil za podvod. V důsledku toho odstranil výsledky benchmarků provedené na těchto telefonech z vlastní databáze.
Tehdy jsme se proti tomu ohradili, neboť throttling, jeho implementace, úroveň nastavení a aktivace v konkrétní aplikaci je čistě věcí výrobce telefonu. Jde o ochranu před poškozením hardwaru přehřátím a pokud je výrobce přesvědčen, že throttling není zapotřebí a k poškození nedojde, není důvod, proč by na něj autor nějakého softwaru měl vyvíjet tlak k aktivaci výkonnostního omezení v jeho aplikaci.
Tato filozofie vychází z chybné představy (kterou se ovšem autoři komerčních benchmarků stále snaží prosazovat), že výsledek ve 3DMarku nebo podobném testu může reprezentovat výkon v reálných aplikacích. Realita je taková, že nereprezentuje a ani nemůže (nároky reálných aplikací a her jsou vždy odlišné, unikátní). Samotná kauza toho byla důkazem: Optimalizace zvyšující výkon ve 3DMarku nemusí ovlivňovat jinou aplikaci či hru. To je prostá realita. Stejně jako optimalizace ovladačů grafické karty pro Doom nemusí ovlivňovat výkon třeba ve Far Cry. Zkrátka a dobře, pokud chci znát výkon grafické karty ve v Doomu, nebudu ho testovat hrou Far Cry a pokud chci znát výkon mobilního telefonu v reálné hře, nebudu ho testovat 3DMarkem, ale reálnou hrou.
UL (Futuremark) se tedy snaží propagovat nereálnou filozofii, že jeho benchmark reflektuje výkon telefonu v reálných aplikacích a přitom není schopný zajistit, aby tomu tak bylo. V důsledku toho penalizuje výrobce, kteří jeho filozofii nezastávají a vytvářejí unikátní optimalizace pro konkrétní aplikace - zde omezením throttlingu.
V případě aktuální kauzy, která se týká Huawei a Honor, je situace až na několik dílčích odlišností stejná. Přestože byla kauza publikována v souvislosti s telefony Huawei, ve skutečnosti se odvíjí od aktivit společnosti Honor, která s omezením throttlingu přišla jako první, nicméně bez povšimnutí a bez negativních reakcí. Společnost Huawei, aby nebyla penalizována nižšími pozicemi v online žebříčcích, praxi Honoru zkopírovala. Huawei se k situaci vyjádřila v tom duchu, že syntetické benchmarky stejně o zařízení nic nevypovídají a doporučila testovat reálnými aplikacemi. S čímž samozřejmě nelze nesouhlasit.
Onen rozdílný prvek oproti kauza Samsungu a HTC spočívá snad jen v tom, že pokud dojde k dlouhodobému spuštění syntetického benchmarku v loopu (smyčka), po určitém čase vyhodí některá zařízení hlášku o přehřívání. Není ovšem jasné, zda jde pouze o informativní hlášku a zařízení se poté nějakým způsobem přizpůsobí a teplotu sníží, nebo zda může dojít reálnému poškození. Podle reakce Huawei půjde spíše o první možnost - v opačném případě by společnosti hrozily zvýšené náklady kvůli reklamacím, čemuž jistě předchází. Možnost poškození hardwaru neindikují ani zprávy o tom, že by se v poslední době zvýšila poruchovost telefonů jmenovaných značek.
Čtenářům samozřejmě necháváme právo vybrat si, zda budou sdílet filozofii UL (Futuremark) - tzn. věřit, že syntetický benchmark odráží chování v reálných aplikacích a vyžadovat po výrobcích absenci optimalizací na bázi aplikace - nebo budou zastávat názor, že syntetické benchmarky vypovídají pouze o výkonu v syntetických benchmarcích a herní výkon je třeba měřit ve hrách. Pouze od toho se odvíjí, zda máme na výrobce telefonů pohlížet jako na podvodníky, nebo zda je šarlatánem spíš výrobce benchmarku, který svůj produkt prezentuje jako něco víc, než čím ve skutečnosti je.