«Сбер» создаст голосовой ИИ без пауз в диалоге

«Сбер» разрабатывает технологию искусственного интеллекта нового типа — полный дуплекс. Такая система сможет одновременно слушать собеседника и говорить, как человек во время телефонного разговора, рассказал РБК директор по развитию технологий искусственного интеллекта Сбербанка Сергей Марков.

Сейчас большинство голосовых ассистентов работают последовательно. Сначала человек произносит фразу, затем система распознает речь, формирует ответ и только после этого озвучивает его.

По словам Маркова, главное отличие новой технологии заключается в использовании одной модели вместо цепочки из нескольких нейросетей. В действующих решениях одна модель переводит голос в текст, другая готовит ответ, а третья превращает его обратно в речь.

Полный дуплекс должен позволить искусственному интеллекту слушать пользователя даже в тот момент, когда он сам отвечает. При использовании видеорежима такая система также сможет видеть собеседника и управлять движениями цифрового аватара.

Марков отметил, что подобные решения уже существуют за рубежом. Одной из первых стала модель Moshi французской компании Kyutai, представленная в 2024 году. Позже свои варианты показали Google и OpenAI.

По словам представителя «Сбера», технология полного дуплекса сокращает задержку ответа с нескольких секунд до 160–320 миллисекунд. Это приближает скорость реакции системы к обычному человеческому разговору.

В России, как утверждает Марков, о разработке полноценной технологии такого типа ранее публично не заявляли. У «Яндекса» есть близкое решение с быстрым ответом и возможностью перебить ассистента, однако, по словам специалиста, оно не является полным дуплексом.

Разница, как пояснил Марков, заключается в том, что система «Яндекса» ждет смены реплики, тогда как полный дуплекс продолжает слушать собеседника непрерывно, даже во время собственного ответа.

Рекомендуем также:

1. Бумажные квитанции за ЖКУ отменяют: с сентября платёжки будут приходить через «Госуслуги»
2. Как перестать разочаровываться в людях: Омар Хайям назвал одну истину, которую понимают слишком поздно
3. Салат из огурцов «Нежинский»: тот самый легендарный рецепт, который закрывают на зиму десятилетиями
4. Бодрость без кофеина из кофейной чашки: какой китайский чай выбрать для энергии
5. Кабачки и куриное филе на одной сковороде: секрет нежного вкуса оказался совсем не в сливках