Publications Repository - Gdańsk University of Technology

The aim of this study is to design a computer application that may assist teachers and therapists in multimodal manner in their work with impaired or disabled children. The application can be operated in many different ways, giving to a child with special educational needs a possibility to learn and train many skills or treat speech disorders. The main stress in this research is on the creation of animated character that will serve as an enforcement of learning skills, and an interface, that enables a wide va-riety of multimodal controls. The character performs different actions according to answers given by a child. The animation system consists of a database with parameterised motion sequences, parameters are modified regarding child's performance. Activities allowing a child familiarising with a computer and interface are designed, and two classes of learning scenarios are presented.Referat opisuje projekt aplikacji komputerowej służącej nauczycielom i terapeutom w pracy z dziećmi o specjalnych wymaganiach edukacyjnych. Program obsługiwać można na wiele sposobów, wykorzystu-jąc różnorodne urządzenia wejściowe. Pozwala to dzieciom niepełnosprawnym, niesłyszącym bądź słabo mówiącym na naukę i terapię za pomocą komputera. Położono nacisk na wykonanie ciekawej postaci animowanej, której ruch na ekranie będzie zachęcał użytkownika do dokonywania postępów w nauce. Parametry animacji modyfikowane są w zależności od odpowiedzi dziecka, im więcej poprawnych odpo-wiedzi, tym ciekawsze zachowanie postaci. Zaprojektowano dwa typy scenariuszy edukacyjnych: trenin-gowy, w którym postać zachowuje się odpowiednio do poprawności odpowiedzi dziecka oraz sprawdza-jący, w którym dziecko kieruje postacią wydając różne polecenia, np. poprawnie odczytując jedno z wyświetlonych słów, wskazując punkt na ekranie, naciskając strzałkę na klawiaturze lub pokazując ge-stem kierunek poruszania.

Authors

• dr hab. inż. Piotr Szczuko link open in new tab