Искусственный интеллект учится «говорить» на редких языках

Инструменты искусственного интеллекта — от текстового ChatGPT до голосового Siri — призваны помочь нам в повседневной жизни при условии, что вы говорите на языке, который они поддерживают.

Искусственный интеллект учится «говорить» на редких языках

Эти технологии недоступны для миллиардов людей, не владеющих английским, французским, испанским или другими основными языками, но исследователи из Африки стремятся изменить эту ситуацию. В исследовании, опубликованном 11 августа в журнале Patterns, ученые предлагают «дорожную карту» для разработки более совершенных инструментов ИИ для африканских языков.

«Для меня не имеет смысла, что существует ограниченное количество инструментов ИИ для африканских языков», — говорит первый автор исследования и исследователь ИИ Кэтлин Симинью из исследовательского фонда Masakhane, объединяющего африканских ученых, которые стремятся создать доступные инструменты ИИ для тех, кто говорит на африканских языках.

Многие из этих инструментов опираются на область ИИ, называемую обработкой естественного языка, — технологию, позволяющую компьютерам понимать человеческие языки. Компьютеры могут овладеть языком в процессе обучения, когда они улавливают закономерности в речи и текстовых данных. Однако при недостатке данных по тому или иному языку, как, например, в случае с африканскими языками, они не справляются с этой задачей.

Чтобы восполнить этот пробел, исследовательская группа сначала определила ключевых участников, участвующих в разработке инструментов для африканских языков, и изучила их опыт, мотивацию, направленность и проблемы. К ним относятся писатели и редакторы, создающие и курирующие контент, а также лингвисты, инженеры-программисты и предприниматели, играющие ключевую роль в создании инфраструктуры для языковых инструментов.

Интервью с ключевыми участниками позволило выявить четыре основные темы, которые необходимо учитывать при разработке африканских языковых инструментов:

  • Во-первых, несмотря на последствия колонизации, Африка представляет собой многоязычное общество, в котором африканский язык занимает центральное место в культурной самобытности людей и является ключевым фактором участия общества в образовании, политике, экономике и т.д.
  • Во-вторых, необходимо поддерживать создание африканского контента. Это включает создание базовых инструментов, таких как словари, программы проверки орфографии и клавиатуры для африканских языков, а также устранение финансовых и административных барьеров для перевода правительственных сообщений на множество национальных языков, в том числе и на африканские языки.
  • В-третьих, созданию технологий для африканских языков будет способствовать сотрудничество между лингвистикой и информатикой. Кроме того, необходимо сосредоточиться на создании инструментов, ориентированных на человека и помогающих ему раскрыть свой потенциал.
  • В-четвертых, разработчики должны помнить о сообществах и этических нормах при сборе, обработке и использовании данных.

«В настоящее время растет число организаций, работающих в этой области, и данное исследование позволяет нам координировать усилия по созданию эффективных языковых инструментов», — говорит Симинью. «Результаты исследования позволяют выделить и сформулировать приоритеты с точки зрения временных и финансовых инвестиций».

Далее команда планирует расширить исследование и включить в него больше участников, чтобы понять, на какие сообщества могут повлиять языковые технологии ИИ. Они также рассмотрят барьеры, которые могут препятствовать доступу людей к технологиям.

Команда надеется, что результаты исследования могут послужить «дорожной картой» для разработки широкого спектра языковых инструментов — от служб перевода до модераторов контента, отлавливающих дезинформацию. Полученные результаты могут также помочь в сохранении коренных африканских языков.

«Я бы хотел, чтобы мы жили в мире, где африканцы имели бы такое же высокое качество жизни и доступ к информации и возможностям, как и те, кто свободно владеет английским, французским, китайским или другими языками», — говорит Симинью.

  • Другие новости