AnTuTu veröffentlicht einen Benchmark zum Testen der KI-Leistung von Smartphones

In den letzten Jahren haben sich immer mehr Unternehmen auf KI (Künstliche Intelligenz) konzentriert, um ihr Produkt von der Konkurrenz abzuheben. Die Verwendung von KI reicht vom Verstehen von Sprachbefehlen über das Erkennen von Szenarien bis zur Ausführung von Direktaufträgen. Daher ist es erforderlich, die Reibung zwischen einem Kunden und einem Dienst zu verringern. Wegen seiner explodierenden Popularität wird KI heute häufig als Schlagwort missbraucht, und es ist an der Zeit, ein System zur Messung dieser Funktionalität einzurichten.

AnTuTu, bekannt für seine beliebte Benchmarking-App, hat es sich zur Aufgabe gemacht, einen quantifizierbaren Standard bereitzustellen, anhand dessen jeder den Unterschied in der KI-Leistung verschiedener Plattformen beurteilen kann. Um den Grundstein für diesen Zweck zu legen, hat AnTuTu zusammen mit den Chipherstellern eine Benchmarking-App namens „AI Review“ veröffentlicht, die sich auf die Messung der AI-Leistung von Smartphones konzentriert.

Laden Sie AnTuTus AI Review Benchmark herunter

AnTuTus Blogpost für AI Review beginnt mit dem Hinweis auf die Schwierigkeiten bei der Messung von so umfangreichen Daten wie künstlicher Intelligenz. Derzeit gibt es im Smartphone-Segment keinen einheitlichen Standard für KI, was wiederum dazu geführt hat, dass jeder Chiphersteller ein eigenes Verständnis und eine eigene Implementierung von KI hat. Qualcomm wickelt einige KI-Operationen über den Hexagon-DSP ab. Das HiSilicon von Huawei handhabt dies über eine unabhängige NPU. Samsung und MediaTek erledigen AI-Operationen auch über dedizierte Chips, die als NPU bzw. APU bezeichnet werden. Diese Situation wird durch die Synergie zwischen Hardware und Software weiter erschwert, die für eine effektive KI-Leistung von entscheidender Bedeutung ist. Jeder Anbieter stellt sein eigenes SDK für AI zur Verfügung - Qualcomm hat SNPE, MediaTek hat NeuroPilot, HiSilicon hat HiAI und so weiter.

Der AI Review-Benchmark von AnTuTu ist in zwei Unterkategorien unterteilt: Bildklassifizierung und Objekterkennung. Der Bildklassifizierungstest überprüft Testdaten mit 200 Bildern und basiert auf dem neuronalen Inception v3-Netzwerk, während der Objekterkennungstest ein Video mit 600 Bildern überprüft und auf dem neuronalen MobileNet SSD-Netzwerk basiert. Diese neuronalen Netze werden dann in das neuronale Netz übersetzt, das vom Hersteller über das vom Hersteller bereitgestellte SDK unterstützt wird. Wenn der Chip keine AI-bezogenen Algorithmen unterstützt, verwendet die Benchmark-App TFLite für das Benchmarking. Die Ergebnisse, vor denen AnTuTu selbst warnt, sind unbefriedigend und unzuverlässig.

Die Benchmark-Bewertung steht in direktem Zusammenhang mit Geschwindigkeit und Genauigkeit. Wenn Genauigkeit gegen Geschwindigkeit eingetauscht wird, weist AnTuTu dem Ergebnis Strafen zu. Dies würde KI-Benchmark-Betrug verhindern, der sich darauf verlassen hätte, schnelle, aber falsche Ergebnisse zu liefern.

AnTuTu hat auch einige spezielle Hinweise für die Verwendung seiner App festgelegt. Plattformen, die denselben KI-Prozessor verwenden, weisen wahrscheinlich keine großen Score-Lücken auf, da der Benchmark nicht nur die Leistung testet, sondern sich auf die KI-Leistung konzentriert . Samsung hat sein AI SDK noch nicht veröffentlicht, und HiSilicon verwendet TFLite für bestimmte Funktionen. Dies bedeutet, dass ihre Punktzahlen niedrig sein werden, bis sich diese Situationen verbessern. Die Basis-Android-Version des Geräts wird sich auch auf den Score auswirken, da Google selbst die AI-Unterstützung auf Systemebene optimiert hat.

Selbst aus AnTuTus eigenem Blog-Post geht hervor, dass das Ziel der Messung der AI-basierten Leistung möglicherweise nicht einfach dadurch erreicht werden kann, dass eine Zahl angegeben wird. Bei der AI-basierten Berechnung sind viele Variablen beteiligt, was die bereits komplexe Interaktion zwischen verschiedenen Hardware- und Softwarelösungen noch komplexer macht. Die singuläre numerische Punktzahl, die sich aus einer Benchmarking-Aktivität ergeben würde, würde den Nuancen in der Welt der KI nicht gerecht. Während Sie sich also Ihre Punktzahl ansehen und monetär ein gewisses Maß an Stolz verspüren, sollten Sie sich darüber im Klaren sein, dass wir uns noch in einem relativ frühen Stadium des AI-Benchmarkings befinden.

Wenn Sie mehr über KI, KI-Benchmarking und die damit verbundenen Herausforderungen erfahren möchten, lesen Sie unser Interview mit Travis Lanier von Qualcomm und Gary Brotman und Ziad Asghar.

Quelle: AnTuTu