Google DeepMind ым тілін нақты уақыт режимінде мәтінге аударатын SL2T (sign-language-to-text) моделін таныстырды.
Технология Pixel 11 смартфондарындағы Gboard және Live Transcribe қосымшаларына интеграцияланған.
Осы уақытқа дейін жасанды интеллектіні дамыту негізінен ауызша сөйлеуді тануға бағытталды. Ал әлем бойынша шамамен 70 млн саңырау және нашар еститін адам қолданатын 200-ден астам ым тілі мұндай технологиялармен айтарлықтай аз қамтылды.
SL2T көмегімен пайдаланушылар ым арқылы «мәтін теріп», интернеттен ақпарат іздей алады, хабарламалар мен құжаттарды жаза алады, сондай-ақ Gemini жасанды интеллекті ассистентіне жүгіне алады. Live Transcribe қосымшасында мәтін терудің орнына сұхбаттасушыға ым арқылы жауап беруге болады.
Әзірге технология тек американдық ым тілін (ASL) қолдайды және оны ағылшын тіліне аударады. Google тілдер мен құрылғылар тізімін біртіндеп кеңейтуді жоспарлап отыр.
Ым тілдерінің өзіндік грамматикасы бар және оларда тек қол қимылдары ғана емес, бет әлпеті, бастың және дененің қалпы да қолданылады. Сондықтан оларды автоматты түрде аудару жекелеген ымдарды қарапайым тануға қарағанда әлдеқайда күрделі.
SL2T моделі 50-ден астам ым тілін қамтитын 100 мың сағаттан астам бейнематериал негізінде оқытылды. Жұмыс барысында жүйе бейненің өзін емес, дененің негізгі нүктелерінің координаттарын талдайды. Бұл бастапқы бейнежазбаны жібермей, серверге тек қимыл туралы деректерді жіберуге мүмкіндік береді.
Модель қимылдар тізбегін ымдардың аралық белгілерін, яғни глоссаларды қолданбай, тікелей мәтінге аударады. Әзірлеушілердің мәліметінше, FLEURS-ASL тестінде модель BLEURT шкаласы бойынша 70 балл жинаған.
Сонымен қатар жүйенің әзірге бірқатар шектеулері бар. Ол сирек кездесетін ымдарды, саусақ әліпбиін жылдам көрсету кезіндегі қимылдарды және кейбір күрделі құрылымдарды тану кезінде қателесуі мүмкін. Сондай-ақ қосымша контекст болмаса, іс-әрекеттің уақытын анықтауда қиындықтарға тап болады.
Жоба есту қабілеті жоқ жандар қауымдастығы өкілдерінің қатысуымен әзірленді. Жобаның идеясын өзінің есту қабілеті жоқ Google компаниясының қызметкері Сэм Сепа ұсынған. Қауымдастық өкілдері деректерді жинау мен модельді тестілеуге қатысты.
