قائمة تقييم الوكيل الصوتي قبل التوسّع
قيّم الوكيل الصوتي بمجموعة ثابتة من المحادثات التمثيلية، ونتائج يتم التحقق منها بشكل مستقل، وتكاليف مفصّلة. ضمّن الكلام غير الواضح، والمقاطعات، والطلبات غير المدعومة، وأعطال التكامل، والتحويل إلى شخص. حدّد معايير القبول الخاصة بك قبل مقارنة المحركات أو زيادة حجم المكالمات.
آخر تحديث
بقلم Aqeel Shamsudheen، مؤسس Wixzel Voice. نُشر في .
ما الذي يُعدّ مكالمة ناجحة للوكيل الصوتي؟
عرّف النجاح بأنه نتيجة عمل تم التحقق منها. في مسار حجز المواعيد، تحقّق من تسجيل الوقت والخدمة وبيانات المتصل الصحيحة، ومن أن التأكيد المنطوق يطابق ذلك السجل. المحادثة السلسة أو النص المكتوب غير الفارغ ليسا دليلًا كافيًا على الإكمال.
افصل بين الاتصال وجودة المحادثة وإكمال المهمة. رفض مزوّد الاتصالات فشل مختلف عن اسم أُسيء فهمه، وكلاهما مختلف عن API مواعيد يُرجع خطأ. سجّل فئة الفشل لكي تستهدف الإصلاحات الطبقة الصحيحة.
ما المحادثات التي يجب أن تتضمنها التجربة؟
ابنِ مجموعة اختبار من المهام واللغات التي تتوقع خدمتها. استخدم مختبرين موافقين وبيانات اصطناعية حيثما أمكن. احتفظ بإصدارات للتعليمات وتعليمات السيناريوهات لكي تكرر التقييم نفسه بعد تغيير محرك أو تكامل.
تشكّل الحالات التالية قائمة للبدء. إنها اختبارات مقترحة، وليست ادعاءً بأن كل محرك يجتازها. أضِف سلوك المتصل وحالات الفشل المهمة لتطبيقك.
- طلب مباشر بنتيجة متوقعة لا لبس فيها.
- تصحيح اسم أو رقم هاتف أو وقت موعد في منتصف المحادثة.
- مقاطعة أثناء حديث الوكيل، يليها طلب مختلف.
- ضوضاء في الخلفية، وصمت، ولهجة غير مألوفة، وكل لغة مستهدفة مدعومة.
- سؤال خارج قاعدة المعرفة، وطلب لا يُسمح للوكيل بتلبيته.
- خادم خلفي غير متاح، وحدث مكرّر، وقطع المتصل للمكالمة قبل الإكمال.
- طلب التحدث إلى شخص، يُختبر مقابل سلوك التحويل الذي ينفّذه تطبيقك فعلًا.
ماذا يجب أن تقيس في كل اختبار؟
سجّل السيناريو، وإصدار المحرك والتعليمات، ومعرّف المكالمة، ونتيجة الاتصال، ونتيجة المهمة، والمدة، والتكلفة. اجعل مراجعًا يتحقق من سجل العمل الفعلي بدلًا من ترك الوكيل نفسه يقيّم إجابته.
لسرعة الاستجابة، عرّف الفترة التي تقيسها، مثل الفترة من نهاية كلام المتصل إلى بداية كلام الوكيل المسموع. أبلغ عن التوزيع وحجم العيّنة وظروف الاختبار. لا تحوّل عرضًا سريعًا واحدًا إلى وعد عام بزمن الاستجابة.
- نسبة إكمال المهام = المهام المكتملة التي تم التحقق منها / المحادثات التي قُيّمت لتلك المهمة.
- نسبة الاتصال = المكالمات المتصلة / المكالمات التي جرت محاولتها، ويُبلّغ عنها بشكل منفصل.
- تكلفة كل مهمة مكتملة = كل إنفاق التجربة / المهام المكتملة التي تم التحقق منها؛ وتُذكر كغير محددة عندما لا توجد أي مهمة مكتملة.
- سجّل الأخطاء الحرجة بشكل منفصل حتى لا يخفي المتوسط حجزًا خاطئًا أو إجابة مختلقة.
ما سجلات Wixzel Voice التي تساعد في التحقيق في اختبار فاشل؟
اقرأ سجل المكالمة لمعرفة الحالة والنص المكتوب وcost_micros. عندما لا تتصل المكالمة، افحص failure_code وfailure_reason قبل تغيير التعليمات. طابق الرسوم مع أحداث الاستخدام. راجع عمليات تسليم webhook عندما تكتمل المكالمة دون أن يتحدّث تطبيقك.
استخدم مفاتيح idempotency عند بدء المكالمات حتى لا تؤدي إعادة محاولة الطلب إلى اتصال ثانٍ. اختبر معالج الأحداث الخاص بك مع عمليات التسليم المكرّرة وتحقّق من النتيجة المخزّنة. يجب أن تكون المصادقة والتحقق من توقيع webhook جزءًا من التكامل قبل أن تكبر التجربة.
متى يجب أن تتوسّع إلى ما بعد التجربة؟
توسّع عندما تتحقق معايير القبول التي حددتها مسبقًا، ويكون لكل فشل حرج مسؤول عنه، ويكون مسار التشغيل قد اختُبر. اختر العتبات بحسب مخاطر حالة الاستخدام وقيمتها؛ فلا توجد نسبة إكمال عامة تجعل كل سير عمل صوتي جاهزًا.
زِد حجم المكالمات على دفعات مضبوطة، وراجع المكالمات الفاشلة، وقارن الإنفاق الفعلي بالميزانية. احتفظ بطريقة للتراجع عن تغييرات التعليمات والنماذج. وإذا نشرت دراسة حالة، فشارك النتائج المقيسة مع المنهجية والقيود.
الأسئلة الشائعة
كم مكالمة تكفي لتقييم وكيل صوتي؟
هل يجب استخدام السيناريوهات نفسها عبر محركات الصوت؟
المصادر وتفاصيل المنتج
ينشر Wixzel Voice هذا المورد. تفاصيل المنتج مأخوذة من المراجع أدناه، وتوصيات التقييم منهجية مقترحة وليست نتائج قياس أداء.
وجدت خطأ؟ أرسل تصحيحًا.
ابنِ أول وكيل صوتي لك