«Чтобы татары попали в базы для развития искусственного интеллекта, нужна программа Академии наук РТ»

Татарстанский программист Рафаил Ахметшин в интервью “Миллиард.Татар” о том, почему искусственный интеллект до сих пор плохо понимает татарский язык, как башкирские волонтеры обошли нас в деле создание аудиобаз и что заставило нашего героя вернуться к изучению родного языка. 

Из строителя в программисты 

 - Расскажите немного о себе, пожалуйста, откуда вы родом?

 - Я родом из Татарстана, большую часть своей жизни прожил в Казани и Набережных Челнах. Последние три года живу в Амстердаме. Закончил ИНЭКА (сейчас филиал КФУ) в Челнах, некоторое время работал в Казани. Потом моей жене предложили работу в Польше, некоторое время жили там, поездили по Европе и остановились в Нидерландах.  


Фото: из личного архива Рафаила Ахметшина


- Чем вы занимаетесь, какой основной род деятельности?

- Вообще, я инженер программного обеспечения. В последние годы всё больше работаю в сфере искусственного интеллекта. Сейчас занимаюсь разработкой систем, которые распознают мошенников во время проведения оплаты на онлайн-платформе. 

- Вы изначально учились на программиста?

- Нет, в этом плане я скорее самоучка. Учился я на строительном факультете, то есть по образованию - специалист промышленно-гражданского строительства. 

Искусственный интеллект всюду 

- Когда вы стали интересоваться ИИ?

- У искусственного интеллекта было несколько волн популярности. Мой интерес к нему появился приблизительно в 2016 году, когда вокруг ИИ появился первый ажиотаж в этой области. Тогда искусственный интеллект от компании Google одержал победу над командой чемпионов в игре Го (Программа AlphaGo выиграла последнюю партию против одного из мировых чемпионов по игре в го корейца Ли Седоля – ред.). 

- Какое непосредственное применение находите искусственному интеллекту в своей жизни?

- В жизни мы все, так или иначе, прибегаем к использованию искусственного интеллекта. Он окружает нас всюду: когда мы используем Google или Яндекс переводчики для распознавания текста; когда мы оформляем онлайн-заказы, ИИ пытается определить мошенники ли мы; для составления рекомендаций контента на различных платформах. Если говорить о работе, то мы создаем системы анализа, улучшаем их, анализируем тренды. То есть находимся в интерактивном процессе, создавая программы вычисления мошенников.

«31 час записей на татарском против 277 часов башкирского»


Фото: из личного архива Рафаила Ахметшина


- В письме вы упомянули о проекте Common Voice?

- Это один из некоммерческих проектов компании Mozilla, доступ к которому является свободным. Им я начал интересоваться, когда искал ресурсы для татарского языка в мире Искусственного Интеллекта. Суть в том, что этот проект собирает голосовые данные, которые в дальнейшем можно использовать для создания голосового ИИ. 

Для того, чтобы натренировать систему нужно очень много данных. Чем их больше, тем качественнее будут работать программы. Вообще проект Common Voice используется для всех языков и этим занимаются волонтеры, соответственно, чем больше волонтеров – тем больше данных можно загрузить в программу.

На данный момент в Common Voice доступен 31 час записей на татарском, а на башкирском и английском гораздо больше - 277 часов и 3332 часа записей соответственно. Чем больше данных на языке, тем лучше будет работать ИИ.

- Что нужно сделать, чтобы ускорить этот процесс?

- Если говорить именно о сборе данных, то он заключает в себе три этапа: создание какого-то текста, его озвучивание, проверка качества записей. В каких-то записях могут быть громкие фоновые шумы или кто-то плохо владеет татарским языком и читает неправильно – следовательно подобные записи не годятся. Так как сама машина этого отличить не сможет – этим занимаются волонтёры. Также в татарском языке же много различных диалектов, особенностей произношения и употребления слов, поэтому CommonVoice сможет быть полезен и в этом вопросе – записи будут создаваться волонтёрами из разных местностей, разными голосами, с разной дикцией и акцентами. В каталоге будет много голосов, которые можно будет натренировать и использовать.

- То есть, волонтёром проекта может стать любой желающий?

- Да, конечно. Нужно просто перейти на сайт и пройти достаточно простую регистрацию, вам будет присвоен номер: можно будет как самим создавать аудио, так и прослушивать уже созданные файлы, создавать тексты.

- Непрошедшие проверку аудио будут удаляться модераторами?

- Аудиозаписям присваиваются плюсики и минусы, а те, кто будет в дальнейшем использовать эти данные для машинного обучения и заниматься тренировкой моделей для машинного обучения, будут отбирать записи с большим количеством положительных оценок – так называемый crowdsourcing.

«Чтобы мы тоже могли попасть в мировые базы, должна быть какая-то политика Академии наук РТ и определённый план» 


Фото: из личного архива Рафаила Ахметшина


- Чем он будет полезен татарам?

- Думаю, что есть несколько областей, в которых искусственный интеллект на татарском языке будет действительно полезен. Наверное, одним из первых можно назвать озвучивание видео или создание автоматического перевода или субтитров. Также можно было бы использовать ИИ в других голосовых сервисах, тех же автоответчиках в госучреждениях или голосовых помощниках. Татарский голосовой помощник был бы полезен в тех же языковых проектах, где озвучку каждого слова можно было бы просто сгенерировать. Подобный ресурс был бы полезен для татар и позволил бы создавать больше проектов, решить проблему с контентом на татарском языке. Его смогут использовать энтузиасты без технических знаний о ИИ, чтобы озвучивать фильмы на татарском, создавать голосовые помощники.

- Как татарам и татарскому контенту попасть в мировые проекты ИИ?

- Если говорить именно о проектах ИИ, то нужно попасть в базы, которые они используют. Поскольку большое количество данных тяжело собирать, компании собирают специальные датасеты, которые потом могут использовать и другие. Чтобы мы тоже могли попасть в эти базы, наверное, должна быть какая-то политика республики или Академии наук РТ и определённый план. Это невозможно сделать за один день, должна быть проделана работа. 

Для начала, возможно, необходимо определиться с базами для каждого вида генеративных моделей: генерация голоса, перевод голоса в текст, генерация текста. Соответственно участие в таких проектах, как CommonVoice, определённо помогло бы в этом деле, поскольку это одна из тех универсальных баз, которые используют для тренировки искусственного интеллекта.

Альтернативным путём попадания татарского языка в мировые проекты ИИ может быть сотрудничество с крупными компаниями на коммерческой основе. Например, Яндекс SpeechKit летом добавил узбекский язык, на сколько мне известно, по запросу клиентов. Наверняка, они могли бы сделать это и для татарского языка, ведь гораздо проще добавить, нежели делать с нуля. Возможно, подобные вещи могли бы финансироваться в рамках поддержки татарского языка на уровне республики.

«Российская компания Silero создавала одну модель» 

- Назовите несколько удачных IT проектов, связанных с татарским языком?

- Именно в области ИИ есть несколько проектов, которые делают модели в том числе и для татарского языка. Конкретно Common Voice может помочь поучаствовать в нем другим людям, не связанным с этим проектом, а владельцам различных ресурсов улучшить и обновить свои данные, расширить возможности. 

Если говорить о проектах, где татарский язык уже присутствует, то Академия наук РТ уже делала некоторые изыскания в этой сфере: они создавали чат «Татар тавышы» для сбора речевых данных. Российская компания Silero создавала одну модель. В Silero помимо татарского, есть башкирский, чувашский, удмуртский и другие языки народов России. 

- Назовите 10 успешных татарских айтишников? 

- На самом деле татарских айтишников достаточно много, в больших компаниях, которые в индустрии обычно называют FAANG, много татар. Только со мной в одном департаменте достаточно крупной компании в Амстердаме работает 5 человек. Думаю, что их просто не пиарят, а на самом деле, стоило бы. 

«Я познакомился с татарами, которые используют татарский»

- Как вы оценили бы свое владение татарским языком?

- Думаю, что понимаю я его хорошо, но говорить на нем также не могу. Если судить по европейской шкале, то понимаю я его на С1, а разговариваю на B1, то есть больше на бытовом уровне. К сожалению, я из тех татар, которые живут полностью в русскоязычной среде, даже друзья татары говорят по-русски.

- Вы упомянули, что раньше такого интереса к татарскому языку и культуре в вас не было, откуда же он появился?

- Во-первых, я всегда думал, что у меня довольно неплохое знание татарского языка, я учился в татарском классе, даже 1 год в ВУЗе учился в татарской группе. Но недавно, впервые за 15 лет мне пришлось воспользоваться родным языком – и оказалось, что выразить свои мысли на нём мне очень трудно. Поддержать разговор о чем-то сложном я не смогу, а, чтобы выразить свою мысль, мне нужно воспользоваться какими-то словами на русском или английском. После такого открытия я решил, что не хочу с этим мириться, начал самообучаться, сделал игру в слова для себя и друзей, поискал ресурсы и разработки в сфере ИИ.

В этом году я познакомился с татарами, которые используют татарский, и подумал, что это хорошая возможность и для меня.

 

Автор: Айгуль Ахмадишина
 

Следите за самым важным и интересным в Telegram-канале