Оценка качества и аналитика

Оценка помогает проверить агента на повторяемых примерах, а аналитика показывает агрегированные результаты работы организации. Оба раздела открываются через Память → Дополнительный раздел на странице агента.

Создайте пример проверки

Выберите Оценки и заполните:

• Название проверки: например, «Возврат без номера заказа»;
• Входной пример: «Хочу вернуть товар, но номер заказа не сохранился»;
• Ожидаемый результат: «Агент вежливо попросит номер заказа и не назовёт правила, которых нет в знаниях».

Нажмите Сохранить пример. Создайте несколько случаев: обычный вопрос, неполные сведения, запрос вне роли агента. Для запуска нужен опубликованный вариант, а стоимость каждого прогона ограничивается лимитом запуска агента.

Выберите Набор проверки и нажмите Запустить оценку. Смотрите результаты не только по завершению, но и по качеству ответа: полезен ли он, соблюдает ли инструкции, не добавляет ли неподтверждённые сведения. При необходимости нажмите Отменить.

Прочитайте аналитику

Выберите Аналитика и период 7, 30 или 90 дней. Экран показывает количество запусков, завершённые запуски, ошибки и расходы. Эти показатели помогают заметить рост ошибок после новой публикации или сравнить результаты до и после изменения инструкции.

Количество запусков здесь информационное: оно не создаёт дневной или месячный запрет. Расходы по-прежнему зависят от доступного баланса и лимита одного запуска.

Лимиты плана

План определяет допустимое число агентов и одновременных корневых запусков:

В таблице нет дневных и месячных ограничений количества запусков. Не используйте аналитику как обещание будущей производительности: она описывает уже собранные показатели выбранного периода.

Если результат не совпал с ожиданием

Откройте пример и инструкцию агента. Уточните ожидаемый результат, подключите необходимые знания или ограничьте лишние приложения. Затем проверьте черновик, опубликуйте новую версию и повторите оценку.

Дальше: настройка и версии, память и знания.