לפני סוכן שני, מצלמה ושופט לראשון

רוב הסוכנים נבחנים לפי תחושה

צוות מריץ סוכן כמה פעמים, התשובות נראות סבירות, והוא עולה לאוויר. אחרי שבועיים מישהו מגלה שהוא מדלג על שלב. אף אחד לא יכול להגיד מאיזה יום, כי שום דבר לא תיעד מה הוא עשה.

זה המצב הרגיל, והוא מסתיר שני פערים נפרדים. אי אפשר לראות מה הסוכן עשה, ואי אפשר להגיד אם מה שעשה היה טוב מספיק. כל פער דורש תיקון אחר.

המצלמה: עקבה של כל הרצה

עקבה היא התיעוד של הרצה אחת, שלב אחר שלב. איזה מודל נקרא, אילו כלים, באיזה סדר, מה חזר, כמה זמן לקח כל שלב וכמה הוא עלה. אין פה שום דבר אקזוטי. כל קריאה למודל או לכלי עוברת בנקודה שאפשר לתעד בה, כמו מד מים על הצינור.

מהעקבה הגולמית מפיקים דברים שאדם יכול לקרוא: עלות להרצה, זמן לכל שלב, מספר שגיאות, ציר זמן. הם עונים על שאלות מעשיות. למה ההרצה הזאת איטית? איזה שלב שורף את הכסף? האם כלי נכשל, והאם הסוכן אמר את זה או עקף אותו בשקט? בלי עקבה, כל אחת מהשאלות האלה היא ניחוש על קופסה שחורה.

אפשר להתחיל בלי תוכנה מיוחדת. קבלה כתובה בסוף כל הרצה, עם השלבים שבוצעו, הקבצים והמקורות, ההנחות ומה שלא הצלחתי לאמת, היא עקבה שאדם קורא בחצי דקה.

השופט: מי מחליט מה יוצא

תצפית אומרת לכם מה קרה. הערכה מחליטה אם זה היה טוב מספיק כדי לצאת. יש שלושה סוגים של שופט, וכל אחד מתאים למשימה אחרת.

בדיקות קוד מדויקות וזולות. משתמשים בהן לכל מה שאפשר לנסח ככלל: הסכום בסיכום תואם למקור, הדוח נשמר פעם אחת, לכל נתון יש מקור. אם כלל אפשר להפוך לקוד, הופכים אותו לקוד.

שופט מבוסס מודל שפה הוא מודל שני שקורא את התוצאה מול הקריטריונים שלכם. הוא מטפל במה שכללים לא תופסים, כמו שלמות של תשובה או התאמת הטון. אבל גם הוא מודל והוא יכול לטעות, ולכן דוגמים אותו ובודקים ידנית.

אדם בודק מדגם ומכריע במקרים שבהם השניים האחרים לא מסכימים. זה השופט היקר, ולכן שומרים אותו למקומות שבהם שיקול דעת באמת נחוץ.

מה שכולם מדלגים עליו: מערך בדיקה קבוע

לשופט צריך מה לשפוט. בוחרים חמישה עד עשרים מקרים אמיתיים מהעבודה שלכם, לכל אחד התשובה שהייתם מקבלים, ומשאירים אותם ללא שינוי. אחרי כל עריכה של ההוראה או החלפה של המודל, מריצים את כולם ומשווים.

זו הדרך היחידה לתפוס שינוי שמשפר מקרה אחד ושובר בשקט שלושה אחרים. ניסיון של ההוראה החדשה על הדוגמה שפתוחה לכם על המסך לא יראה את זה. כשמשהו משתבש בשימוש אמיתי, מוסיפים אותו כמקרה, וככה המערך גדל מהכשלים שלכם.

איפה זה נשבר

מערך בדיקה מכסה רק מה שהכנסתם אליו, ושופט מבוסס מודל שפה חולק נקודות עיוורון עם הסוכן שהוא מדרג. אף אחד מהם לא מחליף קריאה של תוצרים אמיתיים מדי פעם. הם רק הופכים את הקריאה לזולה וממוקדת יותר.

מה לעשות מחר

לפני שבונים משהו חדש, מוסיפים לסוכן שכבר יש לכם הוראה לצרף קבלה, ורושמים חמישה מקרים מהעבר עם התשובות שהייתם מקבלים. אחר כך מדביקים באותה שיחה:

הרץ את חמשת המקרים שבמסמך לפי ההוראות הנוכחיות. הצג טבלה: מקרה, התשובה שלך, התשובה שמקובלת עליי, עבר או נכשל, ולמה.

קראו קודם את הכשלים. הם יגידו לכם מה לתקן לפני שמוסיפים עוד משהו.