에이전트 테스트 및 변경

에이전트가 라이브로 운영된 후 두 가지 일이 발생합니다: 에이전트가 실제로 어떻게 행동하는지 파악하게 되고, 에이전트가 다르게 행동하기를 원하게 됩니다. 이 둘은 에이전트 페이지의 각 에이전트 체크리스트 아래에 위치합니다.

가상의 방문자로 테스트하기

프롬프트를 읽을 수는 있지만, 그것이 지켜지는지 확인할 수는 없습니다.

시나리오를 선택하고 시뮬레이션된 고객이 에이전트와 실제 대화처럼 — 실제 방문자가 걷는 경로와 동일하게, 인사부터 포함하여 — 진행합니다. 그 과정에서 턴(turns)이 도착하는 것을 지켜봅니다.

시나리오	테스트 대상
준비된 고객	간단한 경로가 핸드오프(hand-off)에 도달하는가?
모호한 고객	에이전트가 질문하는가, 아니면 스스로 공백을 채우는가?
금지된 내용을 요구함	누군가가 계속 압박할 때 작성한 제한이 유지되는가.
시간만 원하는 고객	예약 확인을 할 수 있다고 주장하지 않고 예약 요청을 수락하는가?

세 번째 시나리오가 이 기능이 존재하는 이유입니다. 거부 경계 — 프리미엄 금액을 인용하지 말 것, 비자 결과를 예측하지 말 것 — 는 프롬프트에서는 잘 보이지만, 네 번째 시도에서 무슨 일이 일어나는지에 대해서는 아무것도 알려주지 않습니다. 이를 알아내는 유일한 방법입니다.

에이전트가 무언가를 기록하면, 테스트는 생성된 기록을 보여줌으로써 끝납니다: 질문, 답변, 수집, 핸드오프가 한 번에 표시됩니다.

테스트 기록에 대한 세 가지 사항. 테스트로 표시되므로 받은 편지함은 리허설 로그가 아닌 큐로 유지됩니다. 누구도 알림을 받지 않습니다 — 새벽 2시에 누군가를 호출하는 테스트는 버그입니다. 그리고 테스트는 고객과 같지 않으므로, 체크리스트에서 "이 에이전트가 실제 작업을 수행함"에 포함되지 않습니다.

에이전트의 응답은 실제 방문자의 응답과 동일하게 토큰 할당량을 사용합니다. 시뮬레이션된 방문자 측의 비용은 저희가 부담합니다.

변경 사항을 설명하여 수정하기

무엇을 다르게 하고 싶은지 말하면 — "다른 정보를 수집하기 전에 갱신 날짜를 물어볼 것" — 정확히 어떤 것이 변경될지 목록으로 돌려받습니다. 변경 사항에 대한 단락이 아니라, 사라질 줄, 도착할 줄, 전환될 설정이 있습니다. 각각 고유한 체크박스를 가집니다.

먼저 테스트를 실행했다면, 대화가 요청과 함께 진행되므로 "그렇게 말해서는 안 되었다"는 것을 실제로 조치할 수 있습니다.

수행하지 않을 작업

무엇을 요청하든 일부 작업은 거부됩니다. 이 경로는 에이전트가 말하는 내용과 연결된 내용을 편집하지만, 하단의 스위치에는 도달하지 않습니다:

• 자신의 자료로 답변하기 끄기, 또는 공개 소스로부터 답변하기 켜기. 둘 다 실제 설정으로 존재합니다 — 두 번째 기능은 자체 레이블링 및 검토 큐를 갖춘 지원 기능입니다 — 하지만 각각은 문장 톤의 부작용으로 전환되는 것이 아니라 의도적으로 결정해야 할 사항입니다.
• 모델 변경.
• 에이전트, 지식 베이스 또는 문서 삭제.

제거 항목은 선언되며, 그 선언이 검증됩니다

제안서는 제거하는 모든 줄을 나열해야 합니다. 우리는 이전 텍스트와 이후 텍스트로부터 이를 다시 계산하며, 목록이 잘못된 경우 전체 제안을 거부합니다.

이것이 보장 사항이며, 이것이 이렇게 구성된 이유를 정확히 아는 것이 중요합니다. 명백한 보호 수단 — 거부 경계를 포함하는 프롬프트 부분을 식별하고 그 부분을 만지는 것을 금지하는 것 — 은 작동하지 않습니다: 템플릿에서 구축된 에이전트는 해당 경계를 마커 없이 일반 문체로 작성합니다. 선언을 요구하면 그러한 마커가 필요하지 않습니다. 제안은 프리미엄 금액을 인용하지 말 것을 가격 관련 정보를 파악하는 데 도움을 드리게 되어 기쁩니다로 조용히 완화할 수 없습니다. 제안은 빨간색으로 표시된 줄을 제거할 수 있으며, 이를 해제하려면 체크박스를 선택해야 합니다.

실행 취소

마지막 변경 실행 취소는 에이전트를 원래 상태로 되돌립니다. 플랫폼에서 이력을 읽으므로, 콘솔에서 수행한 변경도 실행 취소합니다. 또한 복원 자체도 변경이므로, 실행 취소도 다시 실행 취소할 수 있습니다.