Die VR Brille Meta Quest 2 bietet seit April 2021 die Möglichkeit an, die eigenen Hände innerhalb der VR Welt als Controller zu gebrauchen. Man bedient die verschiedenen UI-Elemente mit den eigenen Fingern, indem man zum Beispiel den Daumen und den Zeigefinger zusammenführt und damit eine Auswahl bestätigt. Hier ist eine Webseite dazu, die aufzeigt, welche Möglichkeiten die Bedienung per Hand bietet.
Seit Anfang dieses Jahres wurde das Tracking nochmals stark verbessert, und man kann jetzt auch die Hände übereinanderlegen, ohne dass die hinten liegende Hand das Tracking verliert.
Das Tracking funktioniert so, dass die internen Kameras der Quest die Hände aufnimmt und ein Algorithmus erkennt, was Hand und was Hintergrund ist. Der Algorithmus wurde so oft mit ganz verschiedenen Arten von Händen (klein, gross, schwarze, weiss) trainiert, so dass er möglichst viele Hände erkennen kann.
Im TechLab haben wir das Tracking mit ganz unterschiedlichen Apps getestet. Wir haben Puzzles zusammengesetzt, Gitarre und Klavier gespielt, und sind dann etwas abgedriftet vom Handtracking, weil wir das Boxspiel unbedingt noch ausprobieren wollten, welches leider noch nicht mit blossen Händen spielbar ist.
Besonders das Klavierspielen per Hände hat es uns angetan, weil man mit der App an einem realen Piaono sitzt, und man dann je nach Lied die korrekten Tasten sieht, die man per Hände bedienen muss. So konnte man schon relativ rasch wirklich gelungene Interpretationen von Klassikern durch die Gänge der FHRG hören.
Das Fazit des Abends ist, dass es bereits sehr nutzbringende Anwendungen fürs Handtracking gibt, man jedoch noch weit davon entfernt ist, die Controller damit ersetzen zu können.