확장 전 음성 에이전트 평가 체크리스트

성공은 확인된 비즈니스 결과로 정의하세요. 예약 흐름이라면 올바른 시간, 서비스, 발신자 정보가 기록되었는지, 그리고 음성으로 한 확인이 그 기록과 일치하는지 확인하세요. 대화가 매끄럽거나 대화 기록이 비어 있지 않다는 것만으로는 완료의 증거가 되지 않습니다.

연결, 대화 품질, 작업 완료를 구분하세요. 통신사의 거부는 이름을 잘못 알아들은 것과 다른 실패이며, 둘 다 예약 API가 오류를 반환하는 것과도 다릅니다. 실패 유형을 기록해야 올바른 계층을 수정할 수 있습니다.

처리할 것으로 예상하는 작업과 언어로 테스트 세트를 만드세요. 가능하면 동의한 테스터와 가상의 정보를 사용하세요. 엔진이나 연동을 바꾼 뒤 같은 평가를 반복할 수 있도록 프롬프트와 시나리오 지침의 버전을 관리하세요.

다음 사례는 체크리스트의 출발점입니다. 모든 엔진이 통과한다는 주장이 아니라 제안하는 테스트입니다. 애플리케이션에 중요한 발신자 행동과 장애 조건을 추가하세요.

• 기대 결과가 분명한 단순한 요청.
• 대화 도중에 정정하는 이름, 전화번호 또는 예약 시간.
• 에이전트가 말하는 중에 끼어든 뒤 다른 요청을 하는 경우.
• 배경 소음, 침묵, 익숙하지 않은 억양, 그리고 지원하는 각 대상 언어.
• 지식 베이스 밖의 질문과 에이전트가 처리하면 안 되는 요청.
• 사용할 수 없는 백엔드, 중복 이벤트, 완료 전 발신자의 통화 종료.
• 상담원 연결 요청. 애플리케이션이 실제로 구현한 연결 동작을 기준으로 테스트합니다.

시나리오, 엔진과 프롬프트 버전, 통화 식별자, 연결 결과, 작업 결과, 통화 시간, 비용을 기록하세요. 같은 에이전트가 자기 답을 채점하게 하지 말고, 검토자가 실제 비즈니스 기록을 확인하게 하세요.

응답성은 측정할 구간을 정의하세요. 예를 들어 발신자의 발화가 끝난 시점부터 에이전트의 음성이 들리기 시작하는 시점까지입니다. 분포, 표본 크기, 테스트 조건을 함께 보고하세요. 빠른 데모 한 번을 일반적인 지연 시간 약속으로 바꾸지 마세요.

• 작업 완료율 = 확인된 완료 수 / 해당 작업으로 평가한 대화 수.
• 연결률 = 연결된 통화 수 / 시도한 통화 수, 별도로 보고.
• 완료당 비용 = 파일럿 전체 비용 / 확인된 완료 수. 완료가 0건이면 정의되지 않음으로 보고.
• 평균이 잘못된 예약이나 지어낸 답변을 가리지 않도록 치명적 오류는 따로 기록하세요.

통화 기록에서 상태, 대화 기록, cost_micros를 확인하세요. 통화가 연결되지 않았다면 프롬프트를 바꾸기 전에 failure_code와 failure_reason을 살펴보세요. 청구 금액은 사용 이벤트와 대조하세요. 통화는 완료되었는데 애플리케이션이 업데이트되지 않았다면 웹훅 전송 내역을 검토하세요.

통화를 시작할 때 멱등성 키를 사용하면 요청을 재시도해도 전화가 두 번 걸리지 않습니다. 자체 이벤트 핸들러가 중복 전송을 처리하는지 테스트하고 저장된 결과를 확인하세요. 인증과 웹훅 서명 검증은 파일럿이 커지기 전에 연동에 포함해야 합니다.

미리 정한 합격 기준을 충족하고, 치명적인 실패마다 담당자가 있으며, 운영 경로가 테스트되었을 때 확장하세요. 기준은 사용 사례의 위험과 가치에 맞게 정하세요. 모든 음성 워크플로를 준비 완료로 만드는 보편적인 완료율은 없습니다.

트래픽은 통제된 단계로 늘리고, 실패한 통화를 검토하고, 실제 지출을 예산과 비교하세요. 프롬프트와 모델 변경에는 되돌릴 방법을 마련해 두세요. 사례 연구를 공개한다면 측정 결과를 방법론 및 한계와 함께 공유하세요.

이 자료는 Wixzel Voice가 게시합니다. 제품 정보는 아래 참고 자료에서 가져왔으며, 평가 권장 사항은 제안하는 방법이지 벤치마크 결과가 아닙니다.

• 통화 오류와 실패 코드
• 웹훅 전송과 검증
• 멱등성을 이용한 안전한 재시도

오류를 발견하셨나요? 수정 요청 보내기.