ИИ прогрессирует в изучении редких и малоизвестных языков

Современные языковые модели искусственного интеллекта заметно продвинулись в работе с редкими языками, постепенно уменьшая языковой барьер в мире. Об этом сообщило издание TechRadar со ссылкой на исследование компании RWS.

Отмечается, что модель Google Gemini Pro показала высокий уровень качества — более 4,5 балла из 5 — при работе с языком киньяруанда, распространённым в Руанде, Уганде и ДР Конго. Эксперты объяснили такой прогресс тем, что ИИ опирается на общие закономерности разных языков. Благодаря этому моделям уже не требуются большие объёмы данных для каждого языка отдельно: недостающую информацию компенсируют механизмы переноса между языками. Также свою роль сыграли улучшения в токенизации — разбиении текста на отдельные элементы.

В ходе исследования специалисты выявили эффект, который они назвали «дрейфом бенчмарка». Он заключается в том, что при смене версии модели её возможности могут неожиданно меняться. Например, последняя версия GPT от OpenAI уступила более компактным моделям в ряде задач по генерации текста, хотя предыдущая версия показывала лучшие результаты. Кроме того, эффективность токенизации между версиями может отличаться в несколько раз, что особенно важно при работе с разными языками.

Ранее разработчики ИИ в основном ориентировались на английский и другие распространённые языки, но теперь внимание всё чаще смещается на более широкую языковую аудиторию. При этом эксперты подчеркнули, что даже высокие оценки не всегда отражают реальное качество владения языком, а полноценная многоязычная поддержка ещё не стала стандартом.

Также отмечается, что интерес к редким языкам частично связан с ограниченностью доступных англоязычных данных. Тем не менее специалисты считают, что развитие ИИ уже способствует постепенному преодолению языковых барьеров.

Рекомендуем также:

1. Инспектор не имеет права требовать это: 3 документа, которые водители могут не показывать на дороге
2. Просто выложите фарш на слоеное тесто: получается мясной ужин, от которого невозможно оторваться
3. Неожиданное сочетание, которое работает идеально: тыква с говядиной превращается в насыщенное и сочное блюдо
4. Всего 2 ложки в лунку дают мощный результат: картошка растет ведрами, клубни крупные и без проволочника
5. Почему до мая лучше снять деньги с банковских карт заранее: что может измениться уже в ближайшие недели