Fotorealistische digitale Begegnungen: Das soll die Killeranwendung von VR und AR sein. Jetzt überwinden Meta-Encoder-Avatare eine weitere Hürde. Seit mehr als drei Jahren informiert das Unternehmen über die eigene Avatar-Forschung. Encoder-Avatare sollen eines Tages Videokonferenzen ersetzen und eine neue Ära der Medienkommunikation einläuten. So funktioniert das System: VR-Brillen erfassen über eingebaute Sensoren den Augen- und Mundbereich, ein KI-Modell erstellt aus diesen Daten ein anschauliches Bild der Person, inklusive Augenbewegungen, Mimik und Zähnen. Eine große Hürde auf dem Weg zur Kommerzialisierung: Für einen vollständigen Avatar müssen Menschen zunächst in einem 3D-Studio gescannt werden. | Bild: Meta Seit der ersten Präsentation der Encoder-Avatare im Jahr 2019 hat Meta immer wieder Fortschritte bei der Weiterentwicklung des Systems gezeigt. Kürzlich gelang es dem Forschungsteam, Virtual-Reality-Avatare in einem Meta Quest 2 mit einer neuen Performance-Technik relativ flüssig darzustellen und dank eines neuen, eigens entwickelten Chips konnte Meta das System weiter optimieren.
Gesichtsscan mit Smartphone
Laut Forschungsleiter Yaser Sheikh ist die Metaverse-Telefonie, die irgendwann auch für AR-Brillen verfügbar gemacht werden könnte und Menschen als Hologramme in die Umgebung wirft, noch fünf „Wunder“ von der Marktreife entfernt. Nun scheint dem Team ein weiteres Wunder gelungen zu sein. Eines der größten Hindernisse bei der Vermarktung eines Avatar-Systems besteht darin, dass die Benutzer zunächst in ein spezielles Studio gehen und sich von Dutzenden von Kameras in 3D scannen lassen müssen. So erhält man die Grunddaten, mit denen das KI-Modell realistische Avatare erstellen kann. Dies ist für den gewerblichen Einsatz sehr umständlich. In ihrer neuesten Forschung zeigt das Team, dass 3D-Gesichtsscans mit einem Smartphone durchgeführt werden können, ohne dass das Ergebnis darunter leidet. Die Hoffnung ist, dass Benutzer dies eines Tages unabhängig von zu Hause aus tun können. Spannweite {Breite: 5px; Höhe: 5 Pixel; Hintergrundfarbe: # 5b5b5b; } # mailpoet_form_11 {Randradius: 0px; Textausrichtung: links;} # mailpoet_form_11 form.mailpoet_form {Padding: 20px;} # mailpoet_form_11 {Breite: 100%;} # mailpoet_form_11; mailmargin_mes padding: 0 20px ;_11. mailpoet_paragraph. last {margin-bottom: 0} @media (max-width: 500px) {# mailpoet_form_11 {background-image: none;}} @media (min-width: {500x) # mailpoet_form_11 .last .mailpoet_paragraph: last- child { margin-bottom: 0} media @media (max-width: 500px) mail # mailpoet_form_11 .mailpoet_form_column: last-child .mailpoet_paragraph: last-bottomld: {0}]]>
Die Avatar-Performance dauert immer noch Stunden
UploadVR beschreibt die technischen Voraussetzungen in einem Artikel. Daher erfordert das 3D-Scannen einen Tiefensensor wie das iPhone X und eine neuere Verwendung für FaceID. Laut Meta dauert der Vorgang etwa dreieinhalb Minuten. Die Benutzer müssen 65 verschiedene Gesichtsausdrücke imitieren. Die Reduzierung der Komplexität des Scannens wird durch ein optimiertes KI-Modell ermöglicht, das weniger Daten verarbeiten kann. Er wurde mit einer Gruppe von 255 Personen ausgebildet. Oben sehen Sie das Ergebnis des 3D-Studioscans, unten das Ergebnis eines Smartphone-Scans. | Bild: Meta Ein weiteres noch zu lösendes Problem ist die Darstellung des Avatars in Echtzeit und in allen Einzelheiten. Derzeit dauert das Rechnen auf einem Computer mit vier Hightech-Grafikkarten sechs Stunden. Ein Problem beim Smartphone-Scannen ist, dass es Probleme mit Brillen und langen Haaren hat und keine Informationen über den Rest des Körpers hat. Es gibt also viele Wunder für Metaforscher zu tun. Die Forschungsarbeit ist im Internet frei verfügbar. Hinweis: Links zu Online-Shops in Artikeln können als Affiliate-Links bezeichnet werden. Beim Kauf über diesen Link erhält MIXED.de vom Verkäufer eine Provision. Der Preis ändert sich für Sie nicht.
