Repozytorium publikacji - Politechnika Gdańska

W artykule zaprezentowano metodę, która może ułatwić naukę mowy dla osób z wadami słuchu. Opracowany system rozpoznawania samogłosek wykorzystuje łączną analizę parametrów akustycznych i wizualnych sygnału mowy. Parametry akustyczne bazują na współczynnikach mel-cepstralnych. Do wyznaczenia parametrów wizualnych z kształtu i ruchu ust zastosowano Active Shape Models. Jako klasyfikator użyto sztuczną sieć neuronową. Działanie systemu zostało przetestowane z wykorzystaniem nagrań mówców, które nie były wykorzystane ani do tworzenia modelu ust, ani do treningu sieci neuronowej. Dodatkowo zbadano wpływ zakłócania informacji akustycznej na uzyskiwane wyniki.

Autorzy

• mgr inż. Piotr Dalka link otwiera się w nowej karcie ,
• prof. dr hab. inż. Bożena Kostek link otwiera się w nowej karcie ,
• prof. dr hab. inż. Andrzej Czyżewski link otwiera się w nowej karcie