Mobilna aplikacja Tłumacza Google posiada funkcję tłumaczenia na bieżąco. Jeśli ją włączymy za pomocą ikonki w kształcie oka i skierujemy obiektyw kamery na jakiś napis, ujrzymy natychmiast ten napis przetłumaczony na ekranie komórki, tak jakby litery magicznie się zmieniły. Nie trzeba robić zdjęcia - przemiana napisu odbywa się automatycznie. Wygląda to dosłownie tak jak na zdjęciu poniżej.

20 nowych języków

Ta funkcja (określana też jako Word Lens) jest dostępna nie od dziś, ale początkowo obsługiwała 7 języków. Teraz obsługuje 27. Właściwie to możliwe jest tłumaczenie pomiędzy angielskim a 26 innymi językami, a te języki to: angielski, bułgarski, kataloński, chorwacki, czeski, duński, holenderski, filipiński, fiński, węgierski, indonezyjski, litewski, norweski, polski, rumuński, słowacki, szwedzki, turecki i ukraiński. 

Jeszcze raz podkreślam, że ten zestaw języków dotyczy tłumaczenia w trybie "na bieżąco". Jeśli zdecydujemy się zrobić zdjęcie, Tłumacz Google jest w stanie obsłużyć 37 języków. 

Funkcja tłumaczenia na bieżąco może się przydać za granicą. Co prawda nie można tłumaczyć np. z polskiego na rosyjski, ale wielu Polaków zna język angielski i choćby z tego powodu funkcja może być przydatna. Osoby nieznające dobrze angielskiego (lub polskiego) mogą się cieszyć tłumaczeniem na bieżąco między polskim i angielskim. 

Tłumaczenie w trybie na bieżąco działa także bez połączenia z internetem.

Google wypuściła fajny film prezentujący tłumaczenie na bieżąco.

Potęga sieci neuronowej

Warto wspomnieć o technologii, która stoi za tą usługą. Jak wyjaśnił Otavio Good na blogu Google Research, najpierw trzeba było stworzyć technologię rozpoznawania obrazów, która będzie w stanie wyłowić litery z innych elementów obrazu. Litery na napisach mogą być rozmazane, zabrudzone lub w inny sposób zniekształcone. Ekipa Google wygenerowała więc zestaw "brudnych" liter, który posłużył do "trenowania" sieci neuronowej stojącej za tą usługą. Litery trzeba było wygenerować, bo takim własnym zestawem brudnych liter łatwiej jest zarządzać.

Kiedy system rozpozna litery, zaczyna szukać słów w słowniku. Musi to robić, stosując pewne przybliżenia, żeby błędne rozpoznanie jednej litery nie zablokowało tłumaczenia. Jeśli więc w słowie "super" litera "s" zostanie odczytana jako "5", system rozpozna słowo "5uper" jako "super".

Nanoszenie napisu na obraz jest ostatnim etapem. Kolor otaczający litery jest wykorzystywany do "wymazania" oryginalnego napisu. Na jego miejscu pojawia się nowy napis. Czcionka może być nieco inna niż oryginalna, ale to już szczegół. 

Co najbardziej zadziwiające, tłumaczenie w tym trybie działa bez połączenia z internetem. Jak to możliwe? Tłumacz Google wykorzystuje bardzo małą sieć neuronową. Inżynierowie Google postarali się, aby ta sieć wykorzystywała możliwie mało danych, np. rozpoznawała litery przekręcone, ale tylko do pewnego stopnia. Chodziło o to, aby stworzyć doskonały obraz liter z ich wszystkimi niedoskonałościami spotykanymi na co dzień. Ten obraz nie mógł mieć zbyt dużo zbędnych elementów. 

Poza tym trzeba było dopracować pewne działania matematyczne, ale ostatecznie udało się. Tłumaczenie na bieżąco robi teraz niesamowite wrażenie.