Microsoft od dawna zachęca do eksperymentowania z nietypowymi zastosowaniami ruchowego kontrolera Kinect. Urządzenie to może służyć do stworzenia wirtualnych przebieralni albo do pomagania osobom niewidomym w poruszaniu się po skomplikowanych wnętrzach.

Wydaje się też oczywiste, że dzięki Kinectowi można stworzyć tłumacza języka migowego, ale łatwiej powiedzieć niż zrobić. Badacze Microsoftu zaprezentowali takiego właśnie tłumacza w ubiegły wtorek. System jest w stanie tłumaczyć rozmowę z języka migowego na mówiony/pisany i odwrotnie. Jest też w stanie dokonywać tłumaczeń pomiędzy różnymi językami migowymi. Komunikaty dla osoby niesłyszącej są prezentowane przez wirtualną postać.

Stworzenie takiego tłumacza nie jest łatwe. Samo rozpoznawanie słów języka migowego nastręcza sporo trudności, szczególnie jeśli tłumacz ma wychwytywać całe zdania, a nie tylko pojedyncze słowa. Trzeba też rozpoznawać język mówiony i tłumaczyć z jednego języka na drugi. Stworzenie tłumacza wymagało więc pracy specjalistów od języków, modelowania 3D, rozpoznawania mowy itd. Film poniżej prezentuje rozwiązanie.

To ciągle jest prototyp i wciąż zostało do wykonania wiele pracy m.in. przy dodawaniu kolejnych słów. Niemniej taki system mógłby umożliwić osobom niesłyszącym porozumiewanie się w miejscach publicznych bez pomocy żywego tłumacza. Mógłby również udostępnić im nowe formy komunikowania się przez internet.

Prace nad podobnymi rozwiązaniami są prowadzone od lat. W roku 2007 IBM stworzył system SiSi, dzięki któremu tekst mówiony może być przekładany na język migowy, prezentowany przez wirtualną postać. Uważano to wówczas za ogromne osiągnięcie. Eksperymentowano też z rozwiązaniami do rozpoznawania języka mówionego dzięki kamerom i specjalnym rękawiczkom. Trzeba jednak przyznać, że kontrolery ruchowe znacznie ułatwią realizację tego celu.

Czytaj także: Wideofon dla głuchoniemych na poczcie - pomysł godny naśladowania