Почему традиционный контроль качества не подходит для генеративного ИИ

Представьте идеального инженера технической поддержки: он мгновенно понимает суть любой, даже самой запутанной проблемы, свободно ориентируется в тысячах уникальных конфигураций клиентских систем, принимает нелинейные решения на лету и никогда не устает. Именно такое будущее обещает бизнесу внедрение агентов поддержки на основе генеративного искусственного интеллекта (GenAI). Они призваны стать не просто чат-ботами с заученными ответами, а интеллектуальными партнерами, способными к глубокому анализу и рассуждению.

Однако это преобразование столкнулось с парадоксом автоматизации. Чем умнее и автономнее становятся наши цифровые сотрудники, тем сложнее ответить на, казалось бы, простой вопрос: а хорошо ли они работают? Традиционные системы контроля качества, десятилетиями служившие опорой для проверки детерминированных программ и кол-центров, дают трещину при столкновении с творческим, непредсказуемым и рассуждающим «интеллектом».

Проблема не в том, что ИИ-агенты плохи. Проблема в том, что старые инструменты для их оценки слепы. Мы пытаемся измерить многомерное, контекстно-зависимое рассуждение линейными метриками, оценить бесконечное разнообразие входных данных конечным набором тест-кейсов и поймать динамически обучающуюся систему в статичную контрольную точку. Это все равно что пытаться оценить мастерство шахматиста, проверяя, умеет ли он правильно двигать фигуры.

В данной статье мы разберем, почему классический «канареечный» мониторинг и предопределенные тесты терпят фиаско применительно к агентам GenAI в сложных технических средах, таких как облачная инфраструктура. Мы покажем, что фундаментальная сложность их работы — бесконечное пространство запросов, уникальность каждого окружения и многошаговые цепочки логических выводов — требует принципиально нового подхода к оценке качества.

Ответом на этот вызов становится двухуровневая система оценки, сочетающая в себе «живой» анализ рассуждений в реальном времени и глубокий сравнительный анализ с экспертными решениями. Это не просто замена одного инструмента мониторинга другим; это смена парадигмы — переход от контроля «что сделано» к оценке «как мыслит». Именно такой подход позволяет не только обнаруживать ошибки, но и непрерывно обучать агента, обеспечивая ту самую надежность и качество, которые делают внедрение GenAI оправданным стратегическим шагом.

Двухуровневая структура ИИ обеспечивает постоянное качество и надежную работу агентов поддержки GenAI в сложных технических средах.

Стремительное развитие генеративного ИИ (GenAI) создало беспрецедентные возможности для трансформации служб технической поддержки. Однако оно также создало уникальные проблемы в области обеспечения качества, которые традиционные подходы к мониторингу просто не могут решить. Поскольку корпоративные системы ИИ становятся всё более сложными, особенно в сфере технической поддержки, нам необходимы более совершенные системы оценки для обеспечения их надёжности и эффективности.

Почему традиционный мониторинг не работает для агентов поддержки GenAI

Большинство предприятий полагаются на так называемое «канареечное тестирование» — предопределённые тестовые случаи с известными входными данными и ожидаемыми результатами, которые запускаются с регулярными интервалами для проверки поведения системы. Хотя эти подходы хорошо работают для детерминированных систем, они неэффективны при применении к агентам поддержки GenAI по нескольким фундаментальным причинам:

- Бесконечное разнообразие вводимых данных: специалистам службы поддержки приходится обрабатывать непредсказуемые запросы на естественном языке, которые невозможно запрограммировать заранее. Клиент может описать одну и ту же техническую проблему множеством разных способов, каждый из которых требует правильной интерпретации.

- Разнообразие конфигураций ресурсов: каждая клиентская среда содержит уникальный набор ресурсов и настроек.

- Сложные пути рассуждений: в отличие от систем на основе API, которые следуют предсказуемым потокам выполнения, агенты GenAI принимают динамические решения на основе контекста клиента, состояния ресурсов и логики устранения неполадок.

- Динамическое поведение агента: эти модели постоянно обучаются и адаптируются, в результате чего статические тестовые наборы быстро устаревают по мере развития поведения агента.

- Проблема запаздывания обратной связи: традиционный мониторинг в значительной степени опирается на сообщения клиентов о проблемах, что создает неприемлемые задержки в выявлении и решении проблем качества.

Конкретный пример

Представьте себе агента, устраняющего неполадки с доступом к облачной базе данных. Сложность становится очевидной сразу:

- Агент должен правильно интерпретировать описание клиента, которое может быть технически неточным.

- Необходимо определить и проверить соответствующие ресурсы в конкретной среде клиента.

- Необходимо выбрать соответствующие API для исследования разрешений и сетевых конфигураций.

- Необходимо применять технические знания для обоснования потенциальных причин на основе этих уникальных условий.

- Наконец, необходимо создать решение, адаптированное к конкретной среде.

Эту сложную цепочку рассуждений просто невозможно проверить с помощью заранее определённых тестовых случаев с ожидаемыми результатами. Нам нужен более гибкий и комплексный подход.

Двухслойное решение

Наше решение представляет собой двухуровневую структуру, объединяющую оценку в реальном времени с автономным сравнением:

- Компонент реального времени: использует «оценку присяжных» на основе LLM для непрерывной оценки качества рассуждений агента по мере их возникновения.

- Офлайн-компонент: сравнивает решения, предложенные агентом, с решениями экспертов после завершения дел.

Вместе они обеспечивают как мгновенные сигналы о качестве, так и более глубокое понимание, основанное на человеческом опыте. Такой подход обеспечивает комплексное представление эффективности работы агентов без необходимости прямой обратной связи с клиентами, обеспечивая непрерывный контроль качества в различных сценариях поддержки.

Как работает оценка в реальном времени

Компонент реального времени собирает полные следы выполнения агента, включая:

- Высказывания клиентов

- Решения о классификации

- Результаты проверки ресурсов

- Шаги рассуждения

Эти следы затем оцениваются ансамблем специализированных «судейских» больших языковых моделей (LLM), которые анализируют рассуждения агента. Например, когда агент классифицирует проблему клиента как проблему сети EC2, три разных судьи LLM независимо оценивают корректность этой классификации с учётом описания клиента.

Использование большинства голосов обеспечивает более надёжную оценку, чем использование какой-либо одной модели. Мы применяем стратегическую субдискретизацию для контроля затрат, сохраняя при этом репрезентативное покрытие для различных типов агентов и сценариев. Результаты публикуются на панелях мониторинга в режиме реального времени, активируя оповещения, когда производительность падает ниже настраиваемых пороговых значений.

Сравнение в автономном режиме: экспертный бенчмарк

В то время как оценка в реальном времени обеспечивает немедленную обратную связь, наш офлайн-компонент обеспечивает более глубокое понимание посредством сравнительного анализа. Он:

- Связывает предлагаемые агентом решения с окончательными решениями по делам в системах управления поддержкой

- Выполняет семантическое сравнение решений ИИ и экспертных решений людей.

- Выявляет тонкие различия в качестве решения, которые не учитываются бинарными метриками

Например, мы обнаружили, что наш агент по устранению неполадок EC2 был технически корректен, но давал менее подробные объяснения для группы безопасности, чем эксперты-люди. Многомерная оценка оценивает правильность, полноту и релевантность, предоставляя практические рекомендации для улучшения.

Что самое важное, это создает непрерывный цикл обучения, в котором производительность агента повышается на основе человеческого опыта без необходимости явного сбора обратной связи.

Подробности технической реализации

Наша реализация обеспечивает баланс между качеством оценки и эксплуатационной эффективностью:

- Облегченная клиентская библиотека, встроенная в среду выполнения агента, фиксирует следы выполнения, не влияя на производительность.

- Эти трассировки попадают в очередь FIFO, которая позволяет контролировать скорость обработки и группировать сообщения по типу агента.

- Вычислительный блок обрабатывает эти следы, применяя логику понижения дискретизации и организуя оценку жюри LLM.

- Результаты сохраняются с возможностью потоковой передачи, которая запускает дополнительную обработку для публикации показателей и анализа тенденций.

Эта архитектура отделяет логику оценки от проблем с составлением отчётов, делая систему более удобной в обслуживании. Мы реализовали плавное снижение производительности, чтобы система продолжала предоставлять ценную информацию даже в случае, если некоторые судьи LLM не справляются или получают отказ, обеспечивая непрерывный мониторинг без перебоев.

Специализированные оценщики для различных компонентов рассуждения

Различные компоненты агента требуют специализированных подходов к оценке. Наша структура включает в себя таксономию оценщиков, адаптированную для конкретных задач рассуждения:

- Классификация домена: судьи LLM оценивают, правильно ли агент определил техническую область проблемы клиента.

- Проверка ресурсов: мы измеряем точность и полноту идентификации агентом соответствующих ресурсов.

- Выбор инструмента: оценщики оценивают, выбрал ли агент соответствующие диагностические API с учетом контекста.

- Окончательные решения: наш компаратор GroundTruth измеряет семантическую схожесть с решениями экспертов-людей.

Этот специализированный подход позволяет нам точно определить, где в цепочке рассуждений агента необходимы улучшения, а не просто знать, что где-то что-то пошло не так.

Измеримые результаты и влияние на бизнес

Внедрение этой структуры привело к значительным улучшениям в наших операциях по поддержке ИИ:

- Увеличение количества успешных отклонений дел на 20% при сохранении высоких показателей удовлетворенности клиентов

- Обнаружены ранее невидимые проблемы с качеством, которые не учитывались традиционными метриками, например, выявлено, что некоторые агенты выполняли ненужные проверки учетных данных, что увеличивало задержку, не улучшая качество решения.

- Ускоренные циклы усовершенствования благодаря подробной обратной связи по качеству рассуждений на уровне компонентов

- Повысилась уверенность в развертывании агентов, поскольку стало ясно, что проблемы с качеством будут быстро обнаружены и устранены до того, как они повлияют на качество обслуживания клиентов.

Заключение и дальнейшие направления

По мере того, как рассуждающие агенты ИИ играют всё более важную роль в операциях технической поддержки, сложные системы оценки становятся необходимыми. По мнению разработчиков компании DST Global, традиционные подходы к мониторингу просто не способны справиться со сложностью этих систем.

Наша двухуровневая структура демонстрирует возможность масштабной непрерывной многомерной оценки, что позволяет ответственно внедрять всё более мощные системы поддержки ИИ. В перспективе мы работаем над:

- Более эффективные методы оценки для снижения вычислительных затрат

- Расширяем наш подход к многооборотным разговорам

- Разработка самосовершенствующихся систем оценки, которые совершенствуют свои критерии оценки на основе наблюдаемых закономерностей

Для организаций, внедряющих агенты GenAI в сложных технических условиях, создание комплексных систем оценки должно считаться столь же важным, как и сама разработка агентов. Только благодаря непрерывной и комплексной оценке мы сможем полностью раскрыть потенциал этих систем, гарантируя при этом неизменно высокое качество поддержки.