בוחרים בכוונה את 40 השורות שקוראים

600 שורות נכנסו, 40 נקראו

הסוכן סיים. הוא שינה 600 שורות, גללתם דקה, קראתם בערך 40 ולחצתם אישור. בואו נהיה כנים, כולנו עשינו את זה. ומי בדק את 560 האחרות?

לצוות Claude Code של Anthropic יש אותה בעיה בקנה מידה שלנו אין. הם פרסמו איך הם מתמודדים איתה, וזה אחד הדברים השימושיים ביותר שקראתי השנה, כי זה כמעט לא קשור לקוד. זה עוסק בשאלה מה עושים כשהמכונה מייצרת יותר ממה שבן אדם מספיק לקרוא.

קודם המספרים, כפי ש-Anthropic מדווחת עליהם. מספר השינויים במאגר הראשי שלהם עלה מכ-2,500 ביום במאי ליותר מ-30,000 ביום בספטמבר. בין יוני לספטמבר מספר הבקשות שנכנסו יותר מהוכפל, והחלק שנאלצו להחזיר אחורה ירד ביותר מ-40%. הם הפסיקו לקרוא הכול. פחות טעויות עברו.

שני שינויים, אותו בוקר

קחו את אותו סוכן, באותו בוקר. שינוי אחד מתקן שגיאת כתיב בקובץ הסבר. שינוי שני נוגע במנגנון העדכון האוטומטי, הקוד שמתקין גרסאות חדשות אצל כולם.

אם שניהם עוברים אותה בדיקה, אתם טועים פעמיים. או שאתם בודקים יתר על המידה את שגיאת הכתיב, או שאתם בודקים פחות מדי את העדכון. לכן הצוות הפסיק לשאול "האם אדם קרא את זה?" והתחיל לשאול "מה יכול להשתבש בשינוי הזה, ואיזו בדיקה תתפוס את זה?". כל מה שבהמשך הוא התשובה לשאלה הזאת.

השכבות, במילים פשוטות

העבודה מתחילה לפני שמישהו מתבקש להסתכל. הסוכן חייב להריץ את הבדיקות, את הבנייה ואת בדיקות הסגנון, ולהראות את הפלט. לא "סיימתי". הפלט עצמו. טענה לא עולה כלום. הרצה שעברה היא ראיה, ואדם יכול להעיף בה מבט תוך שניות.

אחר כך סוכן שני קורא את השינוי בעיניים רעננות, בלי ההנחות של מי שכתב. כמו עמית שלא היה בפגישה.

כשהשינוי מוגש, כמה סוכנים מחפשים באגים במקביל, וקבוצה נפרדת מצביעה על כל ממצא. באג מתפרסם רק אם מספיק מהם מסכימים שהוא אמיתי. הערות שהן רק עניין של טעם נזרקות. מה שנשאר מסומן Important, Nit או Pre-existing, כדי שבעיה שהייתה שם קודם לא תיזקף לחובתכם. רצה גם בדיקת אבטחה והבדיקות האוטומטיות הרגילות, וכל ממצא פתוח חוסם את המיזוג עד שמישהו מתקן אותו או עונה עליו.

ואז הסיכון מחליט מי מסתכל

זה החלק שהייתי גונב ראשון. מסווג קורא כל שינוי וקובע לו דרגה. תיעוד, ניסוח טקסטים ושינויים תוספתיים מסומנים הם סיכון נמוך: אחרי שהבדיקות האוטומטיות ובדיקת האבטחה עברו, אין צורך באישור של אדם. סיכון בינוני דורש אדם אחד. סיכון גבוה דורש שניים.

שני כללים שומרים על היושר. אישור של סוכן לעולם לא נחשב לאישור של אדם. הסוכן שלכם לא יכול לחתום לעצמו על אישור. ומי שביקש מהסוכן את השינוי נספר כאחד מהסוקרים הנדרשים, בדיוק כאילו הקליד אותו בעצמו. אי אפשר להעביר את האחריות יחד עם העבודה.

כך שגיאת הכתיב נכנסת לפני ארוחת הצהריים בלי שאף אחד אחר מסתכל. העדכון האוטומטי מחכה בתור של מישהו, עם הראיות מצורפות, והוא קורא אותו כמו שצריך.

התפנית: סוכנים שסוקרים סוכנים יכולים להסתובב במעגל

ברגע שמכונה סוקרת מכונה, נולד כשל חדש. הסוקר מסמן נקודה קטנה, סוכן מתקן, התיקון הוא שינוי חדש, השינוי החדש נסקר, והסוקר מוצא עוד משהו. שינוי אחד בכלי שורת הפקודה שלהם עבר יותר מחמישים סבבי סקירה בלילה אחד.

הפתרון כמעט מצחיק בפשטותו. אחרי שלושה סבבים הסוקר מפסיק להטליא ומבקש מהכותב לחשוב מחדש על הגישה. לפי הדיווח של Anthropic, שינויים שהצריכו חמישה סבבים או יותר ירדו מ-8.9% ל-1.5%, ושינויים שעברו בסבב אחד עלו מ-65% ל-78%.

מי שראה פעם טיוטה בסבב התיקונים התשיעי מכיר את התחושה. בשלב מסוים הבעיה היא לא המשפט. היא הפסקה.

איפה אדם עדיין חשוב

מה שנשאר לאנשים הוא מה שמכונות חלשות בו. האם זה בכלל מה שרצינו? זה נמצא בראש שלכם ולא בשינוי, וסוקרי AI כמעט לא תופסים "זה עובד אבל זה לא מה שהתכוונת". תחומים מסוכנים כמו חיוב. קריאת הראיות עצמן. ולקיחת אחריות על התוצאה.

יש גם חולשה שקטה. כשאותו סוג מודל כותב וגם סוקר, הוא יכול לפספס את אותו דבר פעמיים. חמישה סוקרים שמסכימים אינם חמש דעות עצמאיות אם יש להם אותה נקודה עיוורת. את המספרים כדאי לקרוא כמדידות של Anthropic על המאגר שלה, ואת הדפוס כדבר שכדאי ללמוד ממנו. הם גם ממליצים להחזיק קובץ REVIEW.md קצר במאגר שמתאר איך נראה כשל אצלכם. ב-Claude Code יש את הפקודות /code-review ו-/security-review למי שרוצה לנסות.

אותה משמעת, בלי קוד

שום דבר מזה לא דורש מפתח. בכל תוצר של AI יש שגיאת כתיב ויש עדכון אוטומטי.

מודל פיננסי: עיצוב לשונית הסיכום הוא שגיאת הכתיב. הנוסחה שהופכת הכנסות לתזרים, וההנחות שהיא תלויה בהן, הן העדכון. בקשו מ-Claude לחשב את הסכומים בדרך שנייה ולהראות איך הם נסגרים מול קובץ המקור. ואז קראו את הנוסחאות בעצמכם.

סיכום חוזה: פסקת הרקע היא סיכון נמוך. סיום ההתקשרות, תקרת האחריות, חידוש אוטומטי ותנאי תשלום הם לא. בקשו כל אחד מהם עם הסעיף המדויק בציטוט, כדי שתוכלו להשוות את המילים לדף.

קמפיין: שגיאת כתיב בשורת הנושא מעצבנת. אחוז ההנחה, רשימת הנמענים ושעת השליחה הם מה שבאמת כואב.

המהלך זהה בכל פעם. דורשים ראיות במקום "סיימתי". ממיינים לפי סיכון. קוראים את החלק המסוכן בכוונה.

מה עושים השבוע

בסוף הבקשה המשמעותית הבאה שלכם הוסיפו: לפני שאתה מוסר לי, בדוק את העבודה שלך והראה לי מה בדקת ואיך. אחר כך פרט את החלקים לפי סיכון: מה בטוח, מה אני חייב לקרוא בעצמי, ובמה אתה לא בטוח. קראו היטב את הקבוצה השנייה, ועברו על השאר בקלילות.

בפעם הבאה שהסוכן מגיש לכם 600 שורות, בחרו בכוונה את 40 שלכם.