הציון הממוצע הסתיר את השבר

מהיר יותר, ומשהו אחד נשבר בשקט

אנתרופיק פרסמה דוגמה מסוכן תמיכה לדוגמה. הצוות צירף סוכן משנה מומחה אחד אל הסוכן הראשי, וזמן התגובה ירד. אבל זה שבר גם תהליך שעבד. הסוכן הראשי חיפש את ההזמנה וענה לבד, בלי לשאול את מומחה המשלוחים מתי ההזמנה אמורה להגיע.

זה נשבר רק באחת משתי ריצות. מריצים פעם אחת, רואים את הריצה הטובה, ומעלים את השינוי.

למה בכלל מצרפים סוכנים

הדוגמה לקוחה ממאמר של אנתרופיק מ-22 באוקטובר 2026, על השאלה מתי לצרף סוכני משנה אל הלולאה של הסוכן הראשי. הטענה שלו: סוכנים רבים בארגונים עובדים טוב יותר עם פחות סוכני משנה. לולאה אחת שטוענת כישורים וכלים רק כשצריך נותנת לא פעם איכות טובה יותר, עלות נמוכה יותר וזמן תגובה קצר יותר מסוכן ראשי שמנהל צוות מומחים.

הסיבה שצוותים בונים בכיוון ההפוך מוכרת. הם מציירים את מערכת הסוכנים כמו תרשים הארגון שלהם, וזה החוק של קונווי מ-1968: מערכות מעתיקות את מבנה התקשורת של הארגון שבנה אותן. אחר כך ההעברות בין סוכנים מאבדות פרטים, והסוכן הראשי צובר כללים שמתחילים לסתור זה את זה. אנתרופיק מדווחת על לקוח אחד שרץ בערך פי שניים מהר על לולאה אחת, ואומרת שבחירת הכלים נוטה להידרדר כשלסוכן יש בין 30 ל-50 הגדרות כלים.

הפוסט הזה לא עוסק בשאלה אם לצרף. הוא עוסק באיך מגלים.

זו לא בעיה של סוכנים

אפשר לשבור משהו כך בלי לכתוב קוד בכלל. עורכים את ההוראות של פרויקט בקלוד שעונה על שאלות משאבי אנוש, והתשובה הממוצעת משתפרת, בזמן ששאלה אחת על מדיניות מתחילה לקבל מספר ימים שגוי. מחליפים תבנית שירות לקוחות בקצרה יותר, ורוב התשובות נשמעות חמות יותר, בזמן שאחת מפסיקה להזכיר את חלון ההחזרים.

ממוצע מסתיר בדיוק את זה. התיקון משעמם ועובד.

דף בדיקה של עשר שאלות

שומרים עשר שאלות אמיתיות שאתם כבר יודעים את התשובה הנכונה להן. עשר מספיקות להתחלה. בפרויקט משאבי אנוש לוקחים את עשר השאלות שעובדים באמת שואלים, ולצד כל אחת את התשובה מהנוהל. בפרומפט שמסווג הוצאות לוקחים עשר קבלות שאתם בטוחים בקטגוריה שלהן.

ואז חמישה צעדים:

1. מריצים את כל העשר לפני שמשנים משהו, ושומרים את התשובות.
2. משנים דבר אחד.
3. מריצים שוב את כל העשר, לפחות פעמיים, כי תשובות של בינה מלאכותית משתנות מריצה לריצה.
4. משווים שאלה אחרי שאלה. שואלים אילו בדיקות התהפכו, לא מה הציון הכללי.
5. משאירים את השינוי רק אם שום דבר חשוב לא החמיר.

הכלל של אנתרופיק לסוכני משנה הוא אותו רעיון בשורה אחת: שומרים סוכן משנה רק אם הסרתו מורידה את הציון. בפרומפט זה אומר לשמור פסקת הוראות רק אם מחיקתה פוגעת באיזושהי תשובה.

לסוכני משנה עדיין יש מקום בשלושה מקרים: עבודה שבאמת רצה במקביל, בדיקה בלתי תלויה של הפלט של סוכן אחר, ולולאה אחת שמידרדרת כי יש בהקשר שלה יותר מדי.

איך נראית ההשוואה

את החלק המייגע אפשר לבקש מקלוד. מדביקים את שתי קבוצות התשובות ומבקשים ממנו ליישר אותן לפי שאלה, לומר אם כל תשובה השתנתה, ולשפוט אם השינוי טוב יותר, גרוע יותר או רק שונה. אתם קוראים את המסומנות. את כל השאר מדלגים.

מה עושים השבוע

בוחרים את פרויקט הקלוד או הפרומפט האחד שהצוות שלכם סומך עליו. כותבים עשר שאלות אמיתיות עם התשובות הנכונות, מריצים אותן פעמיים, ושומרים את הדף. בפעם הבאה שמישהו יגיד ״שיפרתי את ההוראות״, תהיה לכם דרך לברר.