מדדי צ'אטבוט שבאמת חשובים
רוב בעלי העסקים שמתקינים צ'אטבוט בודקים אחר כך מספר אחד בלבד: כמה שיחות הוא טיפל בהן. זה קצת כמו לשפוט עובד חדש רק לפי כמה מיילים הוא פתח. המספר הזה אומר שהבוט עסוק, אבל לא אומר כלום על זה אם הוא בכלל עוזר. אם רוצים לדעת אם הצ'אטבוט עושה את העבודה, צריך רשימה קצרה של מדדי ביצועים לצאטבוט שמודדים תוצאה, לא פעילות.
למה "כמות שיחות" היא לא הכותרת הנכונה
נפח השיחות מרגיש כמו מדד טבעי, כי הוא הכי קל לשלוף מכל דשבורד. הבעיה היא שבוט יכול לצבור אלפי שיחות ולכשל בכולן בערך. לקוח שואל שאלה, מקבל תשובה לא שימושית, שואל אותה שוב במילים אחרות, מקבל תשובה לא שימושית נוספת, מתייאש ומתקשר למשרד בכל זאת. כל החליפין הזה נספר ברוב כלי הדיווח כ"מעורבות", אף על פי שבפועל זה קרוב יותר לכשל שירות עם כמה שלבים נוספים.
הנפח חשוב, אבל בעיקר כהקשר למדדים הבאים. בפני עצמו הוא אומר שיש תנועה לבוט. הוא לא אומר כלום על זה אם התנועה הזו הלכה מרוצה, מבולבלת, או מתוסכלת.
שיעור פתרון: האם הבוט בכלל פתר את הבעיה
זה המספר המרכזי. שיעור הפתרון הוא החלק מהשיחות שהסתיימו בכך שהשאלה של הלקוח נענתה, בלי שהיה צריך אדם להתערב ובלי שהלקוח נטש את הצ'אט מתוך תסכול. בוט עם נפח גבוה ושיעור פתרון נמוך הוא, בפועל, קיר עסוק מאוד שלקוחות מתנגשים בו.
החלק הקשה הוא להגדיר "נפתר" בצורה כנה. חלק מהפלטפורמות סופרות שיחה כנפתרת ברגע שהבוט שולח תשובה כלשהי, וזו הגדרה נדיבה מאוד שגורמת לכל בוט להיראות מצוין על הנייר. הגדרה טובה יותר מקשרת את הפתרון למה שקרה בהמשך: הלקוח הפסיק לכתוב כי קיבל מה שהוא צריך, או כי התייאש? אם יש לכם אפשרות לבדוק אם לקוח שסיים שיחה עם הבוט חזר תוך שעה בטלפון או בערוץ אחר, זה בדרך כלל אינדיקציה הרבה יותר אמינה לפתרון בעייה מכל מה שהפלטפורמה עצמה מדווחת.
שיעור ההעברה לנציג - וחשוב מזה, איכות ההעברה
כל צ'אטבוט צריך להעביר לנציג אנושי לפעמים. בוט שאף פעם לא מעביר הלאה לא הופך ליותר יעיל, הוא פשוט מתעלם ממה שהוא לא יודע. שיעור ההעברה בפני עצמו הוא מספר נייטרלי: שיעור גבוה יכול להצביע על בוט שמכיר היטב את הגבולות שלו, ויכול גם להצביע על בוט לא שימושי שמעביר כמעט הכל לנציג בכל מקרה.
מה שחשוב באמת זה איכות ההעברה. כשהבוט מעביר שיחה לנציג, האם הוא מקבל את כל ההקשר: שם הלקוח, מה נשאל, מה כבר נוסה, או שהוא מתחיל מאפס ומבקש מהלקוח לחזור על כל מה שהוא כבר כתב? התרחיש השני גרוע יותר מלא להחזיק בוט בכלל, כי עכשיו הלקוח הפסיד זמן פעמיים. העברה מתוכננת היטב מורגשת בלתי נראית ללקוח: הנציג נכנס באמצע השיחה כאילו היה בה מההתחלה.
נקודות נשירה: איפה אנשים בעצם מתייאשים
רוב פלטפורמות הצ'אט מציגות מעין משפך, אפילו אם אף אחד לא בנה אותו בכוונה: כמה שיחות התחילו, כמה עברו מעבר לתשובה הראשונה, כמה הגיעו לפתרון או להעברה. כדאי לבדוק איפה אנשים מפסיקים להגיב באמצע שיחה. אם חלק גדול מהלקוחות נעלם ממש אחרי שהבוט מבקש מספר טלפון, זה סימן: אולי הבקשה מגיעה מוקדם מדי, אולי הבוט עדיין לא בנה מספיק אמון כדי לבקש פרטים אישיים, ואולי התהליך פשוט כולל יותר מדי שלבים לפני שהוא נותן משהו שימושי.
זה אחד המדדים שמשתמשים בו פחות מהראוי, כי הוא מחייב לקרוא בעצם מדגם של שיחות שנעזבו, ולא רק להעיף מבט באחוז. עשרים דקות של קריאה של תמלילי נשירה אמיתיים בדרך כלל מספקות יותר תיקונים שימושיים ממה שחודש שלם של הסתכלות על גרפים מצטברים ייתן.
דיוק תשובות על השאלות הנפוצות ביותר
קחו את עשרים השאלות שהבוט נשאל עליהן הכי הרבה ובדקו, ידנית, אם התשובות נכונות ועדכניות באמת. זה נשמע מייגע, וזה כן, אבל זה גם הדרך המהירה ביותר לתפוס תקלה שהמדדים המצטברים מסתירים בצורה מוחלטת: בוט שעונה בביטחון תשובה שגויה נראה בדיוק אותו דבר, על הנייר, כמו בוט שעונה תשובה נכונה. שניהם נספרים כ"נפתרים". רק אחד מהם שימושי בפועל ללקוח, והשני פוגע באמון בשקט, בצורה שלא מופיעה באף דשבורד עד שלקוח מתלונן כמה שבועות אחר כך.
מדדים לבדוק בתדירות נמוכה יותר, אבל לבדוק
כמה מספרים חשובים לתמונה הכללית גם אם הם לא דורשים התייחסות יומית: זמן ממוצע לפתרון (האם הבוט גורם ללקוח לעבור שרשרת הודעות ארוכה בשביל משהו פשוט), שיעור השאלות החוזרות בתוך אותה שיחה (לקוח ששואל את אותה שאלה בשלוש דרכים שונות זה סימן שהתשובות הקודמות לא פגעו בול), וביצועים לפי ערוץ אם הבוט פועל גם בוואטסאפ וגם באתר, כי הקהלים לרוב מתנהגים אחרת, ובוט שכוונן לערוץ אחד עשוי לתת ביצועים נמוכים בשני בלי שמישהו ישים לב.
לחבר את הכל
אף אחד מהמדדים האלה לא אומר הרבה בבדידותו. שיעור פתרון גבוה בשילוב עם נשירה גבוהה בשלבים שמובילים אליו מצביע על בוט שטוב כשהוא בכלל מבין את השאלה, אבל מאבד אנשים בדרך לשם. שיעור העברה נמוך בשילוב עם שיעור פתרון נמוך בדרך כלל אומר שהבוט עונה בביטחון ולא נכון, מה שגרוע יותר מהעברה תכופה יותר. השילוב של המדדים מספר את הסיפור שמספר בודד לא יכול לספר.
כדאי להתחיל מבחירת שני מדדי כותרת: שיעור פתרון ואיכות העברה. לבדוק אותם כל חודש, ולקרוא בכל פעם כמה תמלילים אמיתיים לצד המספרים. ההרגל הזה בלבד יגיד הרבה יותר על אם הצ'אטבוט שלכם עובד באמת מכל דשבורד עם כמות שיחות.
יש לכם תהליך שחוזר על עצמו ושורף שעות?
ספרו לנו עליו בכמה מילים, ונראה לכם איך אוטומציה תעבוד על הנתונים שלכם.
דברו איתנו