Seit der Einführung des iPhone 12 im Jahr 2020 enthält das Kamera-Setup der Apple Smartphones einen LiDAR-Scanner. Und auch das neue iPhone 13, das am 14. September dieses Jahres launcht - also heute! -, ist mit diesem ausgestattet - nun ja, wenn auch nur einige Modelle.
Aber was ist ein LiDAR-Scanner? Ein eingebauter Lügendetektor? Eine einfachere Version des Radars? Wie wir herausfinden werden, funktioniert LiDAR (oder 'Light Detection and Ranging') auf ähnliche Weise wie Radar, nur dass es Laser verwendet, um Entfernungen und Tiefe zu beurteilen. Das ist eine große Neuerung für Augmented Reality (AR) und, in einem geringeren Ausmaß, auch für die Fotografie.
Die interessantere Frage ist jedoch, was LiDAR beim iPhone möglich macht. Ausgehend von unseren Erfahrungen mit der Technik auf dem iPad Pro 2020 werden wir untersuchen, welche Erlebnisse LiDAR auf den neuen iPhones - und nicht zuletzt mit den Apple-Glasses - bieten könnte.
Aber zuerst ein kurzer Rückblick auf die Ursprünge der Technologie, damit du bei deinem nächsten Familienzoom-Meeting schlau daherkommst...
Was ist LiDAR?
Das Konzept hinter LiDAR gibt es seit den 1960er Jahren. Kurz gesagt, die Technologie ermöglicht es dir, deine Umgebung zu scannen und zu kartografieren, indem du Laserstrahlen aussendest und dann misst, wie schnell sie zurückkehren. Ein bisschen so, wie Fledermäuse mit Schallwellen "sehen", nur mit Lasern - was es noch cooler macht als Batmans Batarang.
Wie die meisten futuristischen Technologien begann es als militärisches Instrument in Flugzeugen, bevor es besser bekannt wurde als das System, mit dem die Apollo-15-Mission die Mondoberfläche kartographieren konnte.
In letzter Zeit wurde LiDAR (auch als Lidar bekannt) bei selbstfahrenden Autos eingesetzt, wo es bei der Erkennung von Objekten wie Radfahrern und Fußgängern hilft. Vielleicht bist du auch unwissentlich bei deinem Roboterstaubsauger auf diese Technologie gestoßen.
Doch erst in den letzten Jahren haben sich die Möglichkeiten für LiDAR so richtig eröffnet. Da die Systeme immer kleiner, billiger und genauer wurden, sind sie zu einer brauchbaren Ergänzung für mobile Geräte geworden, die bereits über leistungsstarke Prozessoren und GPS verfügen - Tablets und Smartphones.
Natürlich sind nicht alle LiDAR-Systeme gleich aufgebaut. Bis vor relativ kurzer Zeit bauten die gängigsten Typen 3D-Karten ihrer Umgebung auf, indem sie ähnlich wie eine Radarschüssel physisch ihre Umgebung absuchten.
Auf mobilen Geräten ist das natürlich nicht möglich, so dass neuere LiDAR-Systeme - einschließlich der 3D-Laufzeitsensoren, die auf vielen Smartphones verwendet werden - elektronische Bauteile ohne bewegliche Teile sind. Aber was ist der Unterschied zwischen einem Laufzeit-Sensor und dem LiDAR-"Scanner", der im iPhone 12 bereits integriert ist?
Was ist an Apples LiDAR-Scanner anders?
Vielleicht kennst du schon die Time-of-Flight (ToF)-Sensoren vieler Android-Smartphones - diese helfen dir, die Szenentiefe zu erfassen und die Bokeh-Effekte größerer Kameras nachzuahmen.
Aber das LiDAR-System, das im iPad Pro 2020 - und auch in den beiden "Pro"-Versionen des iPhone 12 - verwendet wird, verspricht, darüber hinauszugehen. Das liegt daran, dass es sich um einen LiDAR-Scanner handelt und nicht um "scannerlose" Systeme, wie man sie bisher bei Smartphones gesehen hat.
Letztere verwenden einen einzigen Infrarot-Lichtimpuls zur Erstellung ihrer 3D-Karten, aber ein scannendes LiDAR-System feuert über einen kurzen Zeitraum eine Folge von Laserimpulsen auf verschiedene Teile einer Szene ab. Dies bringt zwei Hauptvorteile mit sich - eine verbesserte Reichweite von bis zu fünf Metern und eine bessere Objekt-"Okklusion", d.h. das Erscheinen virtueller Objekte, die hinter realen Objekten wie Bäumen verschwinden.
Beeindruckenderweise ist das Verfahren auch sehr schnell, doch diese Geschwindigkeit ist nur mit den neuesten mobilen Prozessoren wirklich möglich. Wie Apple bei der Markteinführung des iPad Pro 2020 erklärte, werden die Daten des LiDAR-Scanners zusammen mit den Daten von Kameras und einem Bewegungssensor verdichtet und dann "durch Computer-Vision-Algorithmen auf dem A12Z Bionic für ein detaillierteres Verständnis der Szene verbessert". Mit anderen Worten, es wird viel getan, damit es nahtlos funktioniert.
Aber während der vermeintliche A14 Bionic-Prozessor des iPhone 12 eine gute Unterstützung für Apples LiDAR-Scanner bietet, gibt es beim Scanner selbst noch viel Raum für Verbesserungen.
Wie ein Blog-Beitrag des Entwicklers der Halide-Kamera-App hervorhebt, bieten die Tiefendaten des iPad Pro derzeit einfach nicht die Auflösung, die für einige Anwendungen, wie das detaillierte 3D-Scannen oder sogar den Portrait-Modus, erforderlich ist.
Das bedeutet, dass der LiDAR-Scanner des iPad Pro eher für raumbezogene Anwendungen wie Spiele oder das Verschieben von AR-Möbeln in der Place-App von IKEA ausgelegt ist. Mit ihm kann man derzeit keine 3D-Objekte mit größerer Genauigkeit scannen als mit anderen Techniken wie der Fotogrammetrie, die stattdessen hochauflösende RGB-Fotos kombiniert, die von verschiedenen Blickwinkeln aus aufgenommen wurden.
Wäre es nicht toll, wenn diese LiDAR-Scannernetze mit der Art von Auflösung und Texturen kombiniert werden könnten, wie sie von RGB-Kameras oder Face ID gesehen werden? Das ist das Ideal, aber wir sind noch nicht ganz so weit - und es ist unwahrscheinlich, dass auch das iPhone 13 diesen Sprung sofort schaffen wird.
Was genau kann man also mit einem LiDAR-Scanner auf dem iPhone 12 machen?
Was kannst du mit einem LiDAR-Scanner im iPhone 12 machen?
Jetzt wissen wir also, dass der LiDAR-Scanner des iPad Pro am besten bei Raummaßstäben funktioniert. Was für Dinge kann er auf dem iPhone 12 tun und was könnte dies für das iPhone 13 bedeuten? Für den Normalbürger sind die beiden wichtigsten Anwendungen AR-Spiele und AR-Shopping.
Apple hat eine Vorschau einiger LiDAR-spezifischer Anwendungen präsentiert, und eine der interessantesten ist das Spiel Hot Lava.
Hot Lava ist ein First-Person-Adventure-Spiel für iOS und PC und hat seit Ende 2020 einen neuen "AR-Modus", der sich auf Apples LiDAR-Sensor stützt, um seine heißen Lavaströme in dein Wohnzimmer zu bringen.
Bislang ist die Demo nicht ganz so beeindruckend, wie wir gehofft hatten - die meisten Objekte, um die dein Charakter herumhüpft, sind Renderings im Spiel und nicht deine eigentlichen Möbel, aber es ist noch genügend Zeit, sie weiterzuentwickeln.
Natürlich erinnert jede Erwähnung von AR-Spielen an Pokemon Go, den bisher einzigen echten Knüller für die erweiterte Realität. Interessanterweise scheint Niantic, der Hersteller des Spiels, seinen eigenen AR-Pfad zu beschreiten, anstatt sich auf Apples Technologie zu verlassen. Vor kurzem kündigte das Unternehmen eine neue "Realitätsüberblendungs"-Funktion für Pokemon Go an - mit der sich die Charaktere realistisch hinter realen Objekten wie Bäumen verstecken können - und enthüllte die Übernahme einer 3D-Raumkartierungsfirma namens 6D.ai.
Dies zeigt, dass AR-Spiele der nächsten Generation nicht notwendigerweise an Apples LiDAR-basierte Technologie oder ARKit-Plattform gebunden sein werden, aber mit dem iPhone 12 darfst du zumindest mitspielen.
...unseren Youtube-Kanal?
...unsere Facebook-Page?
Aber wie sieht es mit Non-Gaming-Erfahrungen für den LiDAR-Sensor aus? Bislang scheinen die ausgefeiltesten auf der Innenarchitektur zu beruhen. Mit der IKEA Place-App kannst du dich zum Beispiel in deinem Wohnzimmer durch virtuelle Möbel bewegen, als ob du dich in einer echten Version der Sims befändest.
Aber obwohl die verbesserte AR-Platzierung und Okklusion (oder die Fähigkeit, virtuelle Objekte hinter realen zu verstecken) des iPad Pro 2020 hilfreich sind, ist es immer noch keine schillernde neue Anwendung für den LiDAR-Scanner.
Auch wenn die Technologie derzeit eher für CAD-Designer und medizinisches Fachpersonal von Nutzen ist (wenn du ein iPad Pro hast, schau dir die beeindruckende Complete Anatomy-App an), gibt es immer noch viel Raum für Kreativität und weitere Überraschungen, die im kommenden Jahr erscheinen könnten.
Wie die Proof-of-Concept-App Esper von Halide zeigt, könnte der LiDAR-Sensor den App-Entwicklern helfen, neue kreative Formen zu erfinden, die weit über die traditionelle Fotografie und Video hinausgehen.
In der Zwischenzeit kann man mit Fug und Recht behaupten, dass der LiDAR-Scanner auf dem iPad Pro und auch auf dem iPhone 12 in erster Linie dazu da sein wird, Entwickler und nicht Technikfans zu begeistern.
Du wirst die Möglichkeit haben, die Zukunft auf mit LiDAR ausgestatteten Geräten zu testen - aber der wirkliche Sprung sollte kommen, wenn diese Sensoren und Apps auf den Apple-Glasses erscheinen.
Apple Keynote 2021 - Unsere Zusammenfassung kannst du dir hier bequem anschauen:
