Российские компании разрабатывают системы контроля за ИИ-агентами

Российские технологические компании начали разрабатывать системы, которые сдерживают и контролируют действия автономных ИИ-агентов. Интерес к таким продуктам усилился по мере перехода бизнеса от простых чат-ботов к программам, способным самостоятельно выполнять многошаговые задачи, а летом более тысячи ИИ-агентов перегрузили крупнейшую платформу открытых нейросетей Hugging Face.

Над собственными решениями работают «Яндекс», MWS AI (входит в «МТС Web Services»), «Сбер» и ИТ-холдинг Т1. Их разработки представляют собой «обвязку» (harness) вокруг языковой модели: она определяет, к каким данным обращаться, какие инструменты запускать и когда запрашивать одобрение человека. Как отмечают в MWS AI, одна и та же модель может давать совершенно разные результаты в зависимости от качества этой инфраструктуры.

В Т1 сообщили, что за год количество запросов бизнеса на контроль ИИ-агентов выросло примерно втрое, причем около 80% касаются ограничения доступа к корпоративным данным и проверки критических решений сотрудниками. В компании «Солар» ожидают, что российский рынок защиты ИИ в этом году составит 1–2 млрд рублей, а с учетом услуг — до 4 млрд. К 2029 году, по оценкам сооснователя университета «Зерокодер» Кирилла Пшинника, он может вырасти до 3–8 млрд рублей.

В Федеральной службе по техническому и экспортному контролю считают, что нынешних мер защиты информации достаточно, чтобы нейтрализовать риски при передаче данных сторонним ИИ-сервисам. В Минцифры напомнили, что для больших фундаментальных моделей действуют обязательные требования к правилам эксплуатации. Эксперты сходятся во мнении, что контроль над ИИ становится обязательным элементом архитектуры корпоративных сервисов.