Einführung des Qualcomm Spectra 380: Weltweit erster ISP mit integrierter KI

Gestern wurde auf Hawaii beim Snapdragon Technology Summit der lang erwartete Qualcomm Snapdragon 855 vorgestellt. Während der neue Chip verschiedene wesentliche Änderungen mit sich bringt (von deutlich genauerem GPS über die erste neue 2, 4-GHz-WLAN-Version in einem Jahrzehnt bis hin zur 5-G-Mobilfunk-Konnektivität), wird immer wieder auf die Bildgebung und die massiven Verbesserungen des Qualcomm Spectra 380 zurückgegriffen.

Traditionell würde der ISP der Kamera die Umwandlung der Rohfarbausgaben der Kamera in etwas übernehmen, das der Rest des Telefons für die maschinelle Bildverarbeitung verwenden kann. Da die AI-Verarbeitung jedoch komplexer geworden ist, ist die Integration mit spezialisierter Hardware von entscheidender Bedeutung. Qualcomm hat mit dem Qualcomm Spectra 280 die ersten Schritte in diese Richtung unternommen und die Unterstützung für Multi-Frame-Rauschunterdrückung und Tiefenmessung direkt in den ISP eingebaut. Bis dahin war es jedoch noch ein langer Weg. In diesem Jahr macht Qualcomm diesen Sprung, indem es Hardware-Bildverarbeitungsbeschleunigung direkt in den Qualcomm Spectra 380 ISP integriert und den so genannten ersten CV-ISP der Welt erstellt.

Der Qualcomm Spectra 380 beseitigt Engpässe in der Bildverarbeitungs-Pipeline und führt zu einer bis zu vierfachen Energieeinsparung im Vergleich zu früheren Generationen, indem die Bildverarbeitung direkt auf dem ISP durchgeführt wird, sodass CPU, GPU und HSP für komplexe Fotos nicht mehr aktiviert werden müssen KI-Aufgaben und deutliche Verbesserung der AR-Fähigkeiten des Prozessors.

Dies bedeutet, dass Hardwaretiefenerfassung, Objektklassifizierung und Objektsegmentierung in Echtzeit für bis zu 4k HDR 60Hz auf dem Qualcomm Snapdragon 855 erfolgen können. Dadurch erhalten wir Ersatz für Live-Objekte oder Hintergrund in Echtzeitvideos, was neue Möglichkeiten eröffnet Möglichkeiten für Extended Reality (XR) -Anwendungen mit dem Qualcomm Snapdragon 855-Chipsatz sowohl in Handys als auch in AR-Headsets.

Die Verbesserungen für den Qualcomm Spectra 380 hören jedoch nicht bei AI und AR auf. Qualcomm hat viel Arbeit in Farbraum- und Helligkeitsverbesserungen gesteckt und die Unterstützung für Full HDR10 + -Videoaufnahmen hinzugefügt. Dadurch können Videos mit größerem Dynamikbereich und größeren Farbräumen aufgezeichnet werden, um die Möglichkeiten moderner Telefone und Fernseher voll auszunutzen.

Der neue ISP bietet auch eine verbesserte Hardwarebeschleunigung für VP9-Video und für das HEVC-basierte HEIF-Bildformat, das 50% kleiner als ältere Bildformate sein kann und erweiterte Funktionen bietet (obwohl wir die Hinzufügung einer Hardwarebeschleunigung für das AV1-basierte AVIF sehr erwarten, welche hoffentlich in den nächsten Jahren verfügbar sein werden)

Der Qualcomm Spectra 380 kann auch Bilder mit höherer Auflösung als in den Vorjahren verarbeiten. Seine doppelte 14-Bit-CV-ISP-Pipeline unterstützt die gleichzeitige Erfassung von 22 MP bei 30 Hz mit zwei Kameras und die Erfassung von 48 MP bei 30 Hz mit einem einzigen Bildsensor. Die schnellere Sensor-Lese-Pipeline überträgt sich in diesem Fall jedoch nicht auf Video, wenn der Qualcomm Spectra 380 die gleichen nativen 720p 480Hz unterstützt (ohne Verwendung des On-Sensor-Cache) wie der Spectra 280.

Das Beste daran ist, dass sich der Qualcomm Spectra 380 in Zukunft möglicherweise weiter verbessert, da sein neues modulares ISP-Design der Bildgebungspipeline eine neue Flexibilität verleiht und das Potenzial für unterschiedliche Verarbeitungsmethoden sowohl für RAW- als auch für YUV-Pixeldomänen eröffnet.

Freuen Sie sich auf erweiterte KI-Funktionen in Kameras? Was erhoffen Sie sich von Machine Vision? Sagen Sie uns in den Kommentaren unten!