Platforma oparta na śledzeniu wzroku dla multimodalnej interakcji człowieka z robotem (Gaze4HRI)

O projekcie

    Cel projektu

Celem projektu jest opracowanie platformy wspierającej budowę aplikacji wchodzących w interakcje z człowiekiem z uwzględnieniem śledzenia wzroku. W pierwszym etapie przeprowadzone będą badania nad wpływem śledzenia wzroku na przebieg interakcji podczas rozmów pomiędzy ludźmi oraz pomiędzy ludźmi a robotami. Na podstawie przeprowadzonych badań zostanie opracowana platforma pozwalająca na uwzględnienie procesu śledzenia wzroku pomiędzy dwoma agentami gdzie agentem może być człowiek, robot lub awatar (na urządzeniu mobilnym). Przy użyciu stworzonej platformy zaimplementowane zostaną odpowiednie moduły pozwalające robotowi (i awatarowi) na intuicyjną i naturalną interakcję z człowiekiem.  Wykonane zostaną także badania oceniające efektywność opracowanych modułów a wyniki tych badań zostaną wykorzystane do opracowania finalnej wersji platformy. Głównym wynikiem projektu będzie opracowane środowisko wspierające tworzenie aplikacji dla robotów i urządzeń mobilnych, uwzględniających kierunek wzroku rozmówcy. Kod źródłowy i dokumentacja będą udostępnione publicznie. Dodatkowo wynikiem będą raporty przedstawiające zastosowane metody i wyniki eksperymentów.

    Zastosowana metoda badawcza/metodyka

Projekt składa się z pięciu zadań gdzie celem zadania pierwszego jest eksperymentalne wykrycie regularności związanych z kierowaniem wzroku podczas rozmów prowadzonych przez dwoje ludzi oraz przez człowieka i robota. W szczególności, brany będzie pod uwagę kontakt wzrokowy oraz unikanie wzroku w kontekście danych dotyczących wypowiedzi. W eksperymentach zostaną zebrane dane dotyczące wzroku oraz dane audio. Dane zostaną ręcznie otagowane i poddane analizie. Katedra Informatyki AGH będzie współpracować ze stroną turecką (METU), przygotowując oprogramowanie potrzebne do zbierania danych i ich analizy przy użyciu metod statystycznych i eksploracji danych. Będzie również współpracować przy opracowywaniu metod wykrywania unikania spojrzenia oraz w opracowywaniu prototypów oprogramowania dla tych metod.

Celem drugiego zadania jest opracowanie i implementacje dynamicznego środowiska obliczeniowego dla wielomodalnych interakcji między człowiekiem a robotem. Implementacja projektowanego środowiska powinna umożliwiać uruchomienie go na wielu platformach sprzętowych i programowych w tym robotach, awatarach w środowisku wirtualnej rzeczywistości (VR) oraz awatarach na urządzeniach mobilnych (takich jak smartfony lub tablety). Katedra Informatyki AGH będzie współpracować ze stroną turecką w przygotowaniu środowiska obliczeniowego do wielomodalnych interakcji między człowiekiem a robotem. Katedra Informatyki AGH będzie także odpowiedzialna za opracowanie i implementacje środowiska dla robota i awatara na urządzeniach mobilnych.

Celem trzeciego zadania jest opracowanie zachowań związanych z wzrokiem, w oparciu o specyfikacje i bibliotekę przygotowaną w zadaniu 2. W początkowym etapie uwzględnione zostaną proste zachowania wykrywające sytuację, gdy użytkownik zaczyna lub kończy mówić i wywołujące zdefiniowane akcje. W kolejnym etapie uwzględnione zostaną bardziej złożone aktywności, takie jak wykrywanie pytań lub uwzględnianie kierunku spojrzenia rozmówcy. Katedra Informatyki AGH będzie współpracować ze stroną turecką, przygotowując implementacje zachowań sterowanych wzrokiem. Prace będą koncentrować się na przygotowaniu oprogramowaniu dla robota Pepper i na platformy mobilne.

Celem czwartego zadania jest przeprowadzenie eksperymentów sprawdzających użyteczność oprogramowania stworzonego w zadaniach 2-3. Ich wyniki będą informacją zwrotną dla zadań 2-3. Katedra Informatyki AGH we współpracy ze stroną turecką będzie realizować eksperymenty przy użyciu robota Pepper i na platformach mobilnych.

Celem piątego zadania jest przygotowanie finalnej wersji środowiska wspierającego tworzenie aplikacji dla robotów i urządzeń mobilnych uwzględniających kierunek wzroku rozmówcy. Podczas prac uwzględnione zostaną wyniki eksperymentów z zadania 4. Przeprowadzone zostaną eksperymenty z użytkownikami w celu weryfikacji środowiska. Katedra Informatyki AGH będzie współpracować ze stroną turecką, rewidując prototyp środowiska wspierającego tworzenie aplikacji uwzględniających kierunek wzroku rozmówcy na podstawie wyników eksperymentów z zadania 4. Opracowana zostanie finalna wersja prototypu środowiska, przy czym prace Katedry Informatyki AGH koncentrować się będą na wersji dla robotów i urządzeń mobilnych. Zostanie także opracowana pełna dokumentacja opracowanego rozwiązania.