Handspot - dłonie do sterowania wirtualnym światem

Microsoft pracuje nad zaawansowanymi systemami rozpoznawania gestów dłoni. Firma chce, by w przyszłości interakcja człowieka z komputerem odbywała się w najbardziej naturalnym sposób - by można było za pomocą dłoni manipulować wirtualnymi obiektami. Rozwijane przez koncern technologie pozwalają na manipulowanie obiektami na ekranie komputera jak i w wirtualnej rzeczywistości, gdy używany jest specjalny hełm VR.

W jaki sposób wchodzimy w interakcje z przedmiotami w realnym świecie? Podnosimy je, dotykamy, manipulujemy. Powinniśmy być w stanie zrobić to samo z wirtualnymi obiektami - mówi Jamie Shotton, jeden z inżynierów z laboratorium Microsoftu z Cambridge w Wielkiej Brytanii. Jeśli opracujemy dobre technologie wirtualnej wizji, rozpoznawania głosu i gestów, to ludzie projektujący takie przedmioty jak telewizory, ekspresy do kawy czy urządzenia Internet of Things będą mieli duże możliwości interakcji z projektami - dodaje Andrew Fitzgibbon odpowiedzialny za prace nad wizją komputerową.

Stworzenie systemu do ręcznej manipulacji wirtualnymi obiektami tylko pozornie wydaje się proste. System taki musi działać tak, by interakcja przebiegała podobnie jak w świecie realnym, a jednocześnie musi zużywać minimalną ilość energii i mocy obliczeniowych systemu. Nie jest to proste. Dość wspomnieć, że np. dłonią  możemy objąć piłeczkę. Wówczas palce znikają z pola widzenia, a komputer musi być w stanie obliczyć, co się z nimi stało i co robią.

Aby poradzić sobie z tym problemem inżynierowie wykorzystują nowatorskie systemy śledzenia ruchu dłoni z algorytmem, którego korzenie sięgają lat 40. ubiegłego wieku, kiedy nikt nie miał do dyspozycji dużych mocy obliczeniowych, a te dostępne były bardzo drogie. Dzięki temu połączeniu udało się stworzyć system, który w sposób szybki, dokładny i nieprzerwany śledzi ruchy dłoni, a jednocześnie może działać na zwykłych gadżetach przeznaczonych na rynek konsumencki. Pod względem dokładności dochodzimy do punktu, w którym użytkownik systemu nie czuje różnicy pomiędzy swoją dłonią, a dłonią wirtualną - mówi Shotton.

Inżynierów pracujących przy projekcie Handpose najbardziej zaskoczył fakt, że brak uczucia dotyku nie był poważnym problemem dla osób postronnych, które testują podobne systemy. Ich zdaniem, jeśli tego typu system jest dobrze zaprojektowany i wiarygodny, to inne nasze zmysły - jak wzrok czy słuch - potrafią nas przekonać, że dotykamy czegoś, z czym w rzeczywistości nie mamy kontaktu. Jednak Hrvoje Benko z grupy zajmującej się naturalnymi interakcjami obawia się, że gdy systemy rzeczywistości wirtualnej staną się bardziej rozbudowane i realistyczne, trudnej będzie przekonać zmysł dotyku, że wszedł w interakcje z wirtualnym przedmiotem. Jego zdaniem konieczne będzie dotknięcie czegoś. Dlatego też on i jego koledzy pracują nad wykorzystaniem rzeczywistych przedmiotów do udoskonalenia odczucia interakcji z przedmiotami wirtualnymi. Dotyk ma wartość, próbujemy rozumieć, czym on jest - stwierdza Andy Wilson, szef grupy interakcji naturalnych. By to osiągnąć nie jest konieczne odtwarzanie w świecie rzeczywistym całych skomplikowanych systemów. W laboratoriach Microsoftu stworzono projekt, w ramach którego można ciągle używać tego samego fizycznego elementu do złożenia wirtualnej struktury składającej się z wielu identycznych elementów. Mamy wrażenie, że używamy wielu elementów, gdy w rzeczywistości wykorzystujemy jeden. Tę samą zasadę można będzie wykorzystać do stworzenia znacznie bardziej złożonych systemów, na przykład za pomocą kilku fizycznych przycisków i dźwigni można będzie odtworzyć wirtualny kokpit samolotu i szkolić pilotów.

Handspot Microsoft sterowanie dłonie