Тестирование и изменение агента

После запуска агента в работу происходят две вещи: вы выясняете, как он ведёт себя на самом деле, и хотите, чтобы он вёл себя иначе. И то, и другое находится в разделе Agents (Агенты), в чек-листе каждого агента.

Протестируйте его с вымышленным посетителем

Вы можете прочитать промпт. Вы не можете прочитать, соблюдается ли он.

Выберите сценарий, и симулированный клиент поведёт с вашим агентом настоящий разговор — по тому же маршруту, по которому идёт реальный посетитель, с приветствием и всем прочим, — пока вы наблюдаете за ходом диалога.

Сценарий	Что проверяется
Подготовленный клиент	Достигает ли прямой путь передачи дела (hand-off)?
Размытый клиент	Задаёт ли агент вопросы или сам заполняет пробелы?
Настаивает на том, что ему нельзя говорить	Держится ли установленное вами ограничение, когда кто-то продолжает давить.
Хочет только время	Принимает ли он запрос на бронирование, не притворяясь, что может его подтвердить?

Третий пункт — причина существования этой функции. Граница отказа — никогда не цитируйте премию, никогда не предсказывайте исход визы — хорошо звучит в промпте и ничего не говорит о том, что происходит при четвёртой попытке. Это единственный способ это выяснить.

Если агент формирует запись, тест завершается, показывая вам созданную им запись: вопрос, ответ, сбор данных, передача дела — всё в одном сеансе.

Три вещи о записи теста. Она помечена как тест, поэтому ваша почта остаётся очередью, а не журналом репетиций. Никто не уведомляется — тест, который вызывает кого-то в 2 часа ночи, является ошибкой. И он не учитывается в показателе «этот агент выполнил реальную работу» в чек-листе, потому что тест — это не клиент.

Ответы агента расходуют ваш квоту токенов, точно так же, как это сделал бы реальный посетитель. Сторона симулированного посетителя — за наш счёт.

Измените его, описав изменение

Скажите, что вы хотите изменить — «спрашивайте дату продления до сбора любых других данных» — и вы получите список того, что именно изменится. Не абзац об изменении: строки, которые уйдут, строки, которые появятся, настройки, которые переключатся. У каждой есть свой флажок.

Если вы сначала провели тест, разговор идёт в соответствии с вашим запросом, так что «он не должен был так говорить» становится чем-то, на что мы можем реально повлиять.

Что он не будет делать

Некоторые вещи отклоняются независимо от того, что запрошено. Этот путь редактирует то, что говорит агент, и то, к чему это прикреплено; он не достигает переключателей ниже:

• Отключение ответа на основе ваших собственных материалов или включение ответа на основе публичных источников. Оба существуют как реальные настройки — вторая является поддерживаемой функцией со своей собственной маркировкой и очередью обзора — но каждая из них является решением, которое нужно принять сознательно, а не тем, что должно быть переключено как побочный эффект предложения о тоне.
• Изменение модели.
• Удаление агента, базы знаний или документа.

Удаления объявляются, и объявление проверяется

Предложение должно перечислить каждую удаляемую строку. Мы пересчитываем это на основе текста до и после и отклоняем всё предложение, если список неверен.

Это гарантия, и важно быть точным в том, почему она имеет такую форму. Очевидная защита — определить часть промпта, содержащую границы отказа, и запретить её касание — не работает: агент, созданный на основе шаблона, имеет эту границу, записанную как обычный текст, без каких-либо маркеров. Требование объявления не нуждается в таком маркере. Предложение не может тихо смягчить никогда не цитируйте премию до мы всегда рады помочь вам получить представление о ценах; оно может только удалить строку перед вами, красным цветом, с флажком, который вы должны снять.

Отмена

Отменить последнее изменение возвращает агента в исходное состояние. Оно читает историю с платформы, а не от нас, поэтому оно также отменяет изменение, сделанное в консоли — и восстановление само по себе является изменением, поэтому отмена отменяема.