​

Оценка качества и аналитика

Оценка помогает проверить агента на повторяемых примерах, а аналитика показывает агрегированные результаты работы организации. Оба раздела открываются через Дополнительный раздел на странице агента.

​

Создайте пример проверки

Выберите Оценки и заполните:

• Название проверки — например, «Возврат без номера заказа»;
• Входной пример — «Хочу вернуть товар, но номер заказа не сохранился»;
• Ожидаемый результат — «Агент вежливо попросит номер заказа и не назовёт правила, которых нет в знаниях».

Нажмите Сохранить пример. Создайте несколько случаев: обычный вопрос, неполные сведения, запрос вне роли агента. Для запуска нужен опубликованный вариант, а стоимость каждого прогона ограничивается лимитом запуска агента. Выберите Набор проверки и нажмите Запустить оценку. Смотрите результаты не только по завершению, но и по качеству ответа: полезен ли он, соблюдает ли инструкции, не добавляет ли неподтверждённые сведения. При необходимости нажмите Отменить.

​

Прочитайте аналитику

Выберите Аналитика и период 7, 30 или 90 дней. Экран показывает количество запусков, завершённые запуски, ошибки и расходы. Эти показатели помогают заметить рост ошибок после новой публикации или сравнить результаты до и после изменения инструкции. Количество запусков здесь информационное: оно не создаёт дневной или месячный запрет. Расходы по-прежнему зависят от доступного баланса и лимита одного запуска.

​

Лимиты плана

План определяет допустимое число агентов и одновременных корневых запусков: В таблице нет дневных и месячных ограничений количества запусков. Не используйте аналитику как обещание будущей производительности: она описывает уже собранные показатели выбранного периода.

​

Если результат не совпал с ожиданием

Откройте пример и инструкцию агента. Уточните ожидаемый результат, подключите необходимые знания или ограничьте лишние приложения. Затем проверьте черновик, опубликуйте новую версию и повторите оценку. Дальше: настройка и версии, память и знания.