Sony IMX378: Umfassende Aufschlüsselung des Google Pixel-Sensors und seiner Funktionen

IMX378 Übersicht

Wir haben uns an Sony gewandt, um mehr über den IMX378-Sensor zu erfahren, der von den kommenden Google Pixel- und Pixel XL-Handys sowie vom Xiaomi Mi 5S verwendet wird. Leider konnte Sony das Datenblatt für den Exmor RS IMX378-Sensor noch nicht vertreiben, aber sie waren äußerst hilfreich und konnten uns einige zuvor unveröffentlichte Informationen über den IMX378 liefern.

Zunächst einmal war der Name selbst falsch. Trotz Gerüchten, die besagen, dass es sich um einen Teil der Exmor R-Reihe von Backside Illuminated (BSI) CMOS-Sensoren wie dem IMX377 handelt, der zuvor im Nexus 5X und Nexus 6P verwendet wurde, hat uns unser Ansprechpartner bei Sony mitgeteilt, dass der IMX378 stattdessen zum Einsatz kommen wird Wird als Teil der Exmor RS-Reihe von gestapelten BSI-CMOS-Sensoren von Sony angesehen.

Während viele Dinge vom IMX377 bis zum IMX378 gleich geblieben sind, einschließlich der Pixelgröße (1, 55 μm) und der Sensorgröße (7, 81 mm), wurden einige wichtige Funktionen hinzugefügt. Das heißt, es ist jetzt ein gestapeltes BSI-CMOS-Design, es hat PDAF, es fügt die SME-HDR-Technologie von Sony hinzu und es bietet eine bessere Unterstützung für Video mit hoher Bildrate (Zeitlupe).

Gestapeltes BSI-CMOS

Die Hinterleuchtung an sich ist eine äußerst nützliche Funktion, die in den letzten Jahren bei Flaggschiff-Smartphones fast schon Standard war, beginnend mit dem HTC Evo 4G im Jahr 2010. Sie ermöglicht es der Kamera, wesentlich mehr Licht (auf Kosten von mehr Rauschen) aufzunehmen Bewegen eines Teils der Struktur, die traditionell vor der Fotodiode auf beleuchteten Sensoren dahinter saß.

Im Gegensatz zu den meisten anderen Kameratechnologien tauchte die Hintergrundbeleuchtung ursprünglich in Telefonen vor DSLRs auf, was zum großen Teil auf die Schwierigkeiten bei der Erstellung größerer BSI-Sensoren zurückzuführen ist. Der erste BSI-APS-C-Sensor war der Samsung S5KVB2, der in der NX1-Kamera aus dem Jahr 2014 gefunden wurde, und der erste Vollbildsensor war der Sony Exmor R IMX251, der im Sony α7R II aus dem letzten Jahr gefunden wurde.

Die gestapelte BSI-CMOS-Technologie geht noch einen Schritt weiter, indem ein größerer Teil der Schaltung von der vorderen Schicht auf das Trägersubstrat hinter den Fotodioden verlagert wird. Auf diese Weise kann Sony nicht nur die Größe des Bildsensors erheblich reduzieren (wodurch größere Sensoren auf derselben Grundfläche möglich sind), sondern auch die Pixel und Schaltkreise separat drucken (auch bei unterschiedlichen Herstellungsprozessen), wodurch das Risiko von Fehlern verringert wird. Verbessern der Ausbeuten und Ermöglichen einer stärkeren Spezialisierung zwischen den Fotodioden und der Trägerschaltung.

PDAF

Das IMX378 verfügt über einen Phasenerkennungs-Autofokus, der von den Nexus-Telefonen des letzten Jahres und dem IMX377 nicht unterstützt wurde. Dadurch kann die Kamera die Unterschiede in der Lichtintensität zwischen verschiedenen Punkten des Sensors effektiv nutzen, um festzustellen, ob sich das Objekt, auf das die Kamera fokussieren möchte, vor oder hinter dem Fokuspunkt befindet, und den Sensor entsprechend einstellen. Dies ist eine enorme Verbesserung in Bezug auf Geschwindigkeit und Genauigkeit gegenüber dem herkömmlichen kontrastbasierten Autofokus, den wir in der Vergangenheit bei vielen Kameras gesehen haben. Infolgedessen haben wir eine absolute Explosion von Handys mit PDAF erlebt, und es ist zu einem riesigen Marketing-Schlagwort geworden, das branchenweit als Kernstück des Kameramarketings gilt.

Die Fokussierung ist zwar nicht ganz so schnell wie bei der Dual Photodiode PDAF des Samsung Galaxy S7 (auch als „Dual Pixel PDAF“ und „Duo Pixel Autofocus“ bekannt ), bei der jedes einzelne Pixel mit zwei Fotodioden für die Phasendetektion verwendet werden kann Pro Pixel sollte die Fusion von PDAF und Laser-Autofokus immer noch eine wirkungsvolle Kombination sein.

Hohe Bildrate

In letzter Zeit wurde viel über Kameras mit hoher Bildrate geredet (sowohl für Consumer-Anwendungen als auch für professionelle Filmemacher). Wenn Sie mit höheren Bildraten aufnehmen können, können Sie sowohl unglaublich flüssige Videos mit normaler Geschwindigkeit erstellen (was für Sport- und andere Hochgeschwindigkeitsszenarien fantastisch sein kann) als auch einige wirklich interessante Videos erstellen, wenn Sie alles verlangsamen.

Leider ist es äußerst schwierig, Videos mit höheren Bildraten aufzunehmen, und selbst wenn der Kamerasensor mit höheren Bildraten aufnehmen kann, kann es schwierig sein, dass der Bildsignalprozessor des Telefons mithält. Während die IMX377 im Nexus 5X und 6P 720p-Videos mit 300 Hz und 1080p-Videos mit 120 Hz aufnehmen konnte, sahen wir im Nexus 5X nur 120 Hz 720p und im 6P 240 Hz 720p. Das IMX377 war auch in der Lage, 4k-Videos mit 60 Hz zu übertragen, obwohl die Nexus-Geräte auf 30 Hz begrenzt waren.

Die Pixel-Telefone können dieses 1080p-Video mit bis zu 120 Hz und das 720p-Video mit 240 Hz übertragen. Dies ist unter anderem auf Verbesserungen im Zusammenhang mit dem IMX378 zurückzuführen, bei dem die Leistung bei 1080p um bis zu 240 Hz gesteigert wird.

Der Sensor ist auch in der Lage, Burst-Aufnahmen mit voller Auflösung schneller zu machen, und zwar mit bis zu 60 Hz bei 10-Bit-Ausgabe und 40 Hz bei 12-Bit-Ausgabe (von 40 Hz bzw. 35 Hz) Verwacklungsgefahr bei Verwendung von HDR +.

KMU-HDR

Traditionell war HDR für Video ein Kompromiss. Sie mussten entweder die Bildrate halbieren oder die Auflösung halbieren. Infolgedessen haben sich viele OEMs nicht einmal darum gekümmert, und Samsung und Sony gehören zu den wenigen, die es implementieren. Sogar das Samsung Galaxy Note 7 ist auf 1080p 30 Hz beschränkt, was zum Teil auf die hohen Rechenkosten von HDR-Videos zurückzuführen ist.

Die erste der beiden traditionellen Methoden für HDR-Video, die von der Red Digital Cinema Camera Company als HDRx und von Sony als DOL-HDR (Digital Overlap HDR) bezeichnet wird, besteht aus zwei aufeinanderfolgenden Bildern, von denen eines dunkler und eines heller belichtet wird sie zusammen, um einen einzelnen Videorahmen zu erstellen. Auf diese Weise können Sie zwar die volle Auflösung der Kamera beibehalten (und unterschiedliche Verschlusszeiten für die beiden separaten Bilder festlegen), es kann jedoch häufig zu Problemen aufgrund der Zeitlücke zwischen den beiden Bildern kommen (insbesondere bei sich schnell bewegenden Objekten). Darüber hinaus kann es für den Prozessor sehr schwierig sein, Schritt zu halten, da bei DOL-HDR der ISP des Telefons die einzelnen Frames zusammenführt.

Bei der anderen herkömmlichen Methode, die Sony als Binning Multiplexed Exposure HDR (BME-HDR) bezeichnet, wird für jedes Paar von zwei Pixelzeilen im Sensor eine andere Belichtungseinstellung festgelegt, um zwei Bilder mit halber Auflösung gleichzeitig zu erstellen, die dann zusammengeführt werden in einen HDR-Frame für das Video. Während diese Methode die mit HDRx verbundenen Probleme vermeidet, nämlich eine Verringerung der Bildrate, hat sie andere Probleme, insbesondere die Verringerung der Auflösung und die Begrenzung, wie die Belichtung zwischen den beiden Liniensätzen geändert werden kann.

Spatially Multiplexed Exposure (SME-HDR) ist eine neue Methode, mit der Sony HDR mit der vollen Auflösung und der vollen Bildrate, die der Sensor unterstützt, aufnehmen kann. Es handelt sich um eine Variante von Spatially Varying Exposure, bei der mithilfe proprietärer Algorithmen die Informationen aus den dunklen und hellen Pixeln erfasst werden, die in einem Schachbrettmuster angeordnet sind, und auf das Bild mit voller Auflösung sowohl für die dunklen als auch für die hellen Belichtungsbilder geschlossen wird.

Leider war Sony nicht in der Lage, uns genauere Erklärungen zum genauen Muster zu geben, und sie werden es möglicherweise nie preisgeben können - Unternehmen tendieren dazu, ihre Karten in Bezug auf Spitzentechnologie, wie wir sie kennen, sehr nahe an der Brust zu spielen siehe in HDR, wobei sogar Google einen eigenen Algorithmus für HDR-Fotos hat, der als HDR + bekannt ist. Es gibt jedoch noch einige öffentlich zugängliche Informationen, anhand derer wir zusammenfassen können, wie dies erreicht werden kann. Shree K. Nayar von der Columbia University (einer von ihnen in Zusammenarbeit mit Tomoo Mitsunaga von Sony) hat eine Reihe von Veröffentlichungen veröffentlicht, die verschiedene Möglichkeiten zur Verwendung der räumlich variierenden Belichtung und verschiedene Layouts enthalten, mit denen dies erreicht werden kann. Unten sehen Sie ein Beispiel für ein Layout mit vier Belichtungsstufen auf einem RGBG-Bildsensor. Dieses Layout soll in der Lage sein, HDR-Bilder in voller Auflösung mit nur etwa 20% Verlust an räumlicher Auflösung aufzunehmen (die gleiche Leistung, die Sony für SME-HDR behauptet).

Sony hat SME-HDR bereits in einigen Bildsensoren verwendet, darunter auch im IMX214, der in letzter Zeit eine große Beliebtheit erlangt hat (der im Asus Zenfone 3 Laser, im Moto Z und im Xperia X Performance verwendet wird), ist jedoch neu Zusätzlich zum IMX378 im Vergleich zum IMX377, der letztes Jahr verwendet wurde. Damit kann der Kamerasensor sowohl 10-Bit-Videos mit voller Auflösung als auch 4-K-Videos mit 60 Hz bei aktivem SME-HDR ausgeben. Ein Engpass an anderer Stelle im Prozess führt zwar zu einer niedrigeren Grenze, dies ist jedoch eine fantastische Verbesserung gegenüber dem IMX377 und ein Zeichen für die künftigen Vorteile.

Eine der großen Verbesserungen des IMX378 gegenüber dem IMX377 besteht darin, dass es in der Lage ist, einen größeren Teil der Bildverarbeitung auf dem Chip abzuwickeln, wodurch die Arbeitsbelastung des ISP verringert wird (obwohl der ISP weiterhin in der Lage ist, die RAW-Bilddaten anzufordern, je nachdem, wie der OEM entscheidet sich für den Sensor). Es kann viele kleine Dinge wie die Fehlerkorrektur und das lokale Spiegeln handhaben, aber noch wichtiger ist, es kann auch BME-HDR oder SME-HDR handhaben, ohne dass der ISP involviert werden muss. Dies könnte möglicherweise einen großen Unterschied darstellen, da der Internetdienstanbieter künftige Telefone mit etwas Overhead ausstatten muss.

Wir möchten uns noch einmal bei Sony für die Hilfe bei der Erstellung dieses Artikels bedanken. Wir wissen die Bemühungen von Sony, die Genauigkeit und Tiefe dieser Funktion zu gewährleisten, zu schätzen, insbesondere, dass wir einige bisher unveröffentlichte Informationen zum IMX378 aufdecken können.

Trotzdem ist es wirklich schade, dass es so schwer ist, auf einige dieser Informationen zuzugreifen, auch auf grundlegende Produktinformationen. Wenn Unternehmen versuchen, Informationen auf ihre Websites zu stellen, können sie häufig unzugänglich und unvollständig sein, zum großen Teil, weil sie häufig als zweitrangiges Anliegen der Mitarbeiter des Unternehmens behandelt werden, die sich mehr auf ihre Hauptarbeit konzentrieren. Eine engagierte Person, die für die Öffentlichkeitsarbeit zuständig ist, kann einen großen Unterschied in Bezug auf die Bereitstellung und Zugänglichkeit dieser Art von Informationen für die breite Öffentlichkeit bewirken, und wir sehen einige Leute, die in ihrer Freizeit genau das versuchen. Sogar auf dem Wikipedia-Artikel von Sony Exmor selbst, bei dem im Laufe von ein paar Monaten eine einzelne Person in ihrer Freizeit den größten Teil des Fundaments legte, um ihn von einem fast unbrauchbaren Artikel von 1.715 Byte, der jahrelang zumeist derselbe gewesen war, in das Internet zu übertragen ~ 50.000-Byte-Artikel, den wir heute dort mit 185 verschiedenen Editoren sehen. Ein Artikel, der wohl die beste Sammlung von Informationen über die Sony Exmor-Sensorreihe ist, die online erhältlich ist, und wir können ein sehr ähnliches Muster bei anderen Artikeln beobachten. Ein einziger engagierter Autor kann einen wesentlichen Unterschied darin machen, wie einfach Kunden verschiedene Produkte vergleichen können und wie gut interessierte Verbraucher über das Thema informiert sind, was weitreichende Auswirkungen haben kann. Aber das ist ein Thema für ein anderes Mal.

Wie immer fragen wir uns, wie sich diese Hardwareänderungen auf die Geräte selbst auswirken. Wir werden ganz klar kein 4k 60 Hz HDR-Video bekommen (und vielleicht überhaupt kein HDR-Video, wie Google es noch nicht erwähnt hat), aber die schnellere Aufnahme mit voller Auflösung wird wahrscheinlich wesentlich bei HDR + helfen, und wir werden das sehen Verbesserungen des neueren Sensors sickern auch auf ähnliche, kleine, aber wesentliche Weise in das Telefon ein.

Während DXOMark die Leistung der Pixel-Telefone als etwas besser als die der Samsung Galaxy S7 und HTC 10 angibt, waren viele Dinge, die den Pixel-Telefonen den kleinen Vorsprung verschafften, bedeutende Software-Verbesserungen wie HDR + (das absolut fantastische Ergebnisse liefert und dem DXOMark ein ganzes widmet) Abschnitt ihrer Überprüfung) und Googles spezielles EIS-System (das mit OIS zusammenarbeiten kann), das das Gyroskop 200-mal pro Sekunde abtastet, um einige der besten elektronischen Bildstabilisatoren bereitzustellen, die wir je gesehen haben. Ja, die Pixel-Telefone haben eine großartige Kamera, aber hätten sie mit OIS und Dual Pixel PDAF noch besser sein können? Absolut.

Verstehen Sie mich nicht falsch, wie gesagt, die Pixel-Telefone haben eine absolut umwerfende Kamera, aber Sie können mich nicht wirklich beschuldigen, mehr zu wollen, besonders wenn der Weg zu diesen Verbesserungen so klar ist (und wenn die Preise für die Telefone so hoch sind) volle Flaggschiff-Preisgestaltung, bei der Sie das Beste vom Besten erwarten). Es wird immer einen Teil von mir geben, der mehr will, der eine bessere Akkulaufzeit, schnellere Prozessoren, eine bessere Akkulaufzeit, hellere und lebendigere Bildschirme, lautere Lautsprecher, bessere Kameras, mehr Speicher, eine bessere Akkulaufzeit und vor allem besser Akkulaufzeit (wieder). Abgesehen davon haben die Pixel-Telefone viele kleine, fantastische Funktionen, die zusammen ein wirklich vielversprechendes Gerät ergeben könnten, und ich bin gespannt darauf, dass dies so ist.