אל תגרמו לקלוד לקרוא כל שורה

מ-150,000 טוקנים ל-2,000

צוות ההנדסה של אנתרופיק תיאר עבודה משרדית פשוטה: לקחת תמלול של פגישה בת שעתיים מגוגל דרייב ולצרף אותו לרשומה בסיילספורס. בדרך הרגילה זה עלה כ-150,000 טוקנים. בדרך אחרת, כ-2,000. אנתרופיק מדווחת על ירידה של 98.7%, לאותה משימה ולאותה תוצאה.

טוקנים הם חתיכות הטקסט שהמודל קורא. הם גם מה שמשלמים עליו, וגם מה שממלא לו את הזיכרון העובד. אז מה שהשתנה הוא כמה המודל נאלץ לסחוב.

למה הדרך הרגילה בזבזנית

ברוב מערכות הסוכנים תיאור של כל כלי זמין נטען להקשר של המודל עוד לפני שהוא עושה משהו. ואז כל תוצאת ביניים עוברת דרך המודל. במשימת התמלול המודל מבקש את המסמך מגוגל דרייב, התמלול כולו חוזר להקשר שלו, ואז המודל צריך לכתוב את אותו תמלול שוב לרשומה בסיילספורס. הטקסט עובר דרך המודל פעמיים, ולפי הערכת אנתרופיק זה בערך 50,000 טוקנים מיותרים. המודל לא היה צריך לקרוא את התמלול כדי להעביר אותו.

זה כמו להתקשר לבן או לבת הזוג מהסופר על כל מוצר במדף, במקום לשלוח רשימה אחת ולתת להם לקנות.

מה משתנה: הכלים הופכים לקוד

בגישה שאנתרופיק מתארת, הכלים מוצגים לסוכן כקוד שאפשר לקרוא לו. הסוכן כותב סקריפט קצר: להביא את המסמך הזה, לכתוב אותו לרשומה ההיא. הסקריפט רץ מחוץ לשיחה, ורק מה שהוא מדפיס חוזר למודל. אם הסוכן בחר להדפיס שתי שורות (הושלם, התמלול צורף), שתי השורות האלה הן כל מה שהוא רואה.

שלושה יתרונות נוספים באים מאותו מהלך. אפשר לסנן גיליון של 10,000 שורות בקוד, והמודל רואה חמש שורות במקום עשרת אלפים. לולאות וטיפול בשגיאות יושבים בסקריפט ולא עולים תור שלם של מודל כל אחד. ושדות רגישים יכולים לעבור בין שתי מערכות בלי להיכנס למודל בכלל.

והסתייגות אחת, אמיתית. הרצת קוד שסוכן כתב דורשת ארגז חול, מגבלות וניטור. זו החלטה הנדסית של מי שבונה את הסוכן, לא מתג שמחליפים.

אותו עיקרון, באפליקציה של קלוד, היום

אין צורך לבנות שום דבר כדי להשתמש ברעיון. בקלוד יש הגדרה שמאפשרת לו לעבד קובץ גדול בעזרת קוד, במקום להכניס כל שורה לשיחה:

Settings > Capabilities > Code execution and file creation

היא זמינה בכל התוכניות, כולל החינמית, באינטרנט, בדסקטופ ובנייד.

שלוש עבודות שבהן זה משתלם:

כספים. מעלים שנה של תנועות כקובץ סי-אס-וי וכותבים: ״עבד את הקובץ בעזרת קוד. הראה לי רק טבלת סכומים לפי חודש ואת 10 הלקוחות הגדולים ביותר. אל תדפיס את השורות.״ חוזרות שתי טבלאות קטנות שאפשר להצליב מול הספרים.

משאבי אנוש. מייצאים את רשימת העובדים ממערכת השכר ומבקשים רשומות כפולות לפי מספר תעודת זהות או שם. מקבלים את רשימת הכפילויות, לא סיור בכל השורות.

שיווק. ייצוא של קמפיין עם אלפי שורות נכנס, ומבקשים את חמשת הלידים הזולים ביותר ואת חמשת היקרים ביותר, עם המקור של כל אחד. הניתוח נעשה בקוד, ואפשר לבקש מקלוד להראות אותו.

מה עושים השבוע

מפעילים את ההגדרה, לוקחים את הגיליון הגדול ביותר שאתם דוחים, ומבקשים מקלוד לעבד אותו בעזרת קוד ולהראות רק סיכום. אחר כך מבקשים ממנו להראות את הקוד, כדי לראות מה הוא עשה בפועל.