Тревожные сигналы при выборе компании по AI-агентам

Откажитесь от сделки, если вендор не может показать реальный рабочий процесс, правило остановки системы и порядок её передачи. Это самый короткий и безопасный ответ. OpenAI отличает агентные системы от обычных чат-решений по использованию инструментов и защитных ограничений. IBM рассматривает внедрение как переход в реальную эксплуатацию. Dataiku говорит, что для реальной эксплуатации нужны принцип минимальных привилегий, аудит действий, проверка человеком, аварийное отключение и контроль затрат. NIST и OWASP помогают оценить риски, на которых основан этот ответ.

Если вендор не может объяснить эти составляющие, не подписывайте контракт.

Стоп-факторы с первого взгляда

Если во время одного звонка вы замечаете несколько тревожных сигналов, остановите процесс и ещё раз проверьте границы проекта, прежде чем двигаться дальше.

Шоу вместо демо

Первый тревожный сигнал - демо, которое никогда не выходит за пределы песочницы вендора. Такая презентация часто выглядит впечатляюще, потому что не показывает сложные части процесса. Она может отвечать на вопросы и показывать интерфейс, но ничего не говорить о поведении системы в реальной эксплуатации.

Полезный тест простой. Попросите вендора показать рабочий процесс с реальным инструментом, реальным исключением и передачей результата ответственному сотруднику. Если вам могут показать только заготовленные промпты или отполированный чат-интерфейс, вы видите оболочку, а не работу системы.

Руководство OpenAI предлагает здесь простой критерий.

Красивый чат-интерфейс ещё не доказывает, что AI-агент способен выполнять рабочий процесс.

Всё равно нужно проверить использование инструментов, механизмы контроля и правила работы системы на реальной задаче.

Избегание вопросов безопасности

Второй тревожный сигнал - вендор говорит об автономии, но избегает обсуждения механизмов, без которых безопасная автономная работа невозможна. Если команда не может обсудить принцип минимальных привилегий, точки согласования, журналирование или откат, она предлагает вам принять неуправляемый риск.

Dataiku прямо перечисляет эти требования. AI-агентам в реальной эксплуатации нужны ограничения доступа, аудит действий, защитные механизмы, проверка человеком, аварийное отключение и учёт затрат. Это не список дополнительных возможностей. Это минимальные требования к системе для реальной эксплуатации.

Задайте эти вопросы на встрече:

• Какие действия требуют согласования человеком?
• Какой путь отката, если система ведёт себя неправильно?
• Где хранятся логи?
• Кто смотрит выборку трассировок?
• Какой план доступа по принципу минимальных привилегий?
• Что происходит, когда в рабочем процессе возникает исключение?

Если вендор отвечает уверенно, но без деталей, копайте дальше. Уверенность - это не доказательство.

Владение и передача

Третий тревожный сигнал - вендор внедряет систему, но не объясняет, как ею управлять после запуска. Это не полноценная передача системы для реальной эксплуатации. Это зависимость.

Вендор должен объяснить, кто отвечает за исключения, кого оповещают об инцидентах, кто может поставить систему на паузу и что получает команда покупателя по завершении проекта. Если ответ - «мы будем всем управлять», спросите, что это значит после первого месяца.

IBM говорит, что внедрение - это не то же самое, что разработка. Система интегрирована с бизнес-инструментами, а показатели управляются во времени. Это подразумевает владельца на стороне покупателя, а не только разработчика на стороне вендора.

Проверьте, нет ли следующих пробелов в распределении ответственности:

• Не назначен ответственный со стороны бизнеса.
• Нет регламента.
• Нет пути эскалации.
• Нет регламента для команды поддержки.
• Нет ответа, кто меняет рабочий процесс после запуска.

Если вендор не передаст достаточно контекста, чтобы ваша команда могла эксплуатировать систему, сделка не завершена.

Привязка к платформе

Привязка к платформе влияет не только на цену.

Главный вопрос в том, сможете ли вы сменить поставщика, не потеряв рабочий процесс.

Попросите вендора прояснить каждый пункт из следующего списка.

• Как экспортируются данные, логи, промпты и конфигурации.
• Кто владеет учётными данными и как их передают.
• Что происходит с материалами для оценки, если сотрудничество заканчивается.
• Получает ли покупатель права интеллектуальной собственности и операционную документацию, нужные для продолжения работы.
• Какая поддержка предусмотрена при расторжении договора и переходе к другой команде.

Если ответ звучит как «это можно использовать только внутри нашей платформы», считайте это риском зависимости от поставщика, а не преимуществом продукта.

Раздувание объёма

Четвёртый тревожный сигнал - обещание автоматизировать всё ещё до того, как описан хотя бы один рабочий процесс. Обычно это значит, что вендор продаёт масштаб обещаний, а не конкретный результат.

Более безопасная проверка включает один рабочий процесс, один приёмочный тест и один набор контрольных точек. Расширять объём стоит только после того, как первый процесс заработает.

NIST полезен здесь, потому что управление рисками AI - про системный контроль, а не про хайп. OWASP полезен, потому что риски агентной системы быстро растут, когда её возможности расширяют без соответствующих механизмов контроля.

Попросите вендора назвать конкретный рабочий процесс, который он внедрит первым. Если вендор отказывается сузить объём, он не готов оценить работу.

Что спросить до подписи

Используйте следующие вопросы как практическую проверку вендора.

1. Покажите реальный рабочий процесс, а не подготовленный демонстрационный сценарий.
2. Покажите правило остановки и план отката.
3. Покажите план доступа по принципу минимальных привилегий.
4. Покажите логи и цикл проверки.
5. Покажите, кто отвечает за исключения после запуска.
6. Покажите, какие действия проходят через точки согласования.
7. Покажите пакет передачи.
8. Покажите приёмочный тест.

Если вендор может ясно ответить на все восемь вопросов, идите дальше. Если нет, прочитайте как нанять агентство по AI-агентам или главные вопросы вендорам AI-агентов, прежде чем брать на себя обязательства.

Если у вас уже есть черновик границ проекта, сравните его с шаблоном пилота AI-агента и материалом как сравнивать агентства по AI-агентам.

Подход Northstar

Мы считаем отсутствие контрольных точек, логов и понятной передачи системы существенными пробелами в проекте, а не недостатками оформления. Поэтому мы предпочитаем ограниченный аудит до разработки. Проще отказаться от неудачной сделки до подписания договора, чем исправлять её последствия после запуска.

Если нужна независимая оценка одного рабочего процесса или коммерческого предложения вендора, принесите материалы на страницу решений.