Repozytorium publikacji - Politechnika Gdańska

Ustomysz jest interfejsem komputerowym, umożliwiającym sterowanie kursorem ekranowym za pomocą ruchów ust i gestów wykonywanych ustami. Główną grupą docelową użytkowników interfejsu są osoby, które z dowolnego powodu nie mogą lub nie chcą posługiwać się tradycyjną klawiaturą i myszką komputerową. W związku z tym, może on umożliwić osobom niepełnosprawnym ruchowo, np. z niedowładem kończyn posługiwanie się komputerem, a przez to pozwolić na nieograniczone komunikowanie się. Ustomysz jest interfejsem całkowicie bezkontaktowym co oznacza, że nie wymaga montażu żadnych urządzeń lub elementów na ciele użytkownika. Ma on postać aplikacji działającej na standardowym komputerze PC. Do działania wymaga ponadto zwykłej kamery internetowej. Aplikacja analizuje na bieżąco obraz twarzy użytkownika komputera i transformuje dane dotyczące położenia ust na odpowiednie ruchy kursora na ekranie. Ponadto wykrywa ona trzy gesty wykonywane ustami: otwarcie ust, wysunięcie języka i złożenia ust w tzw. dzióbek oraz uruchamia przypisane do nich akcje, takie jak klikanie wybranymi przyciskami myszy, przewijanie zawartości ekranu za pomocą kółka itp. Do klasyfikacji gestów wykonywanych ustami wykorzystano sztuczną sieć neuronową. Na jej wejście podawany jest wektor parametrów obrazu opisujących wygląd ust automatycznie lokalizowanych w obrazie z kamery. Wyniki przeprowadzonych i opisanych eksperymentów dowodzą, że dokładność działania Ustomyszy jest wystarczająca do efektywnego posługiwania się komputerem.

Autorzy

• mgr inż. Piotr Dalka link otwiera się w nowej karcie ,
• prof. dr hab. inż. Andrzej Czyżewski link otwiera się w nowej karcie