המודל הקטן הוא סוס העבודה

ההשקה שכדאי לעקוב אחריה היא הזולה

הכרזות על מודלים מתמקדות במודל החכם ביותר. מי שמפעיל בינה מלאכותית בתוך עסק צריך להסתכל על ההשקה הקטנה החודש: הייקו 5.5 של אנתרופיק, שהחברה מתארת כמודל המהיר והזול ביותר שלה, למשימות בנפח גבוה שבהן העלות קובעת.

הסיבה היא איך העבודה מתחלקת בפועל. פתחו כל מערכת עבודה עם בינה מלאכותית וספרו את הקריאות. רובן קטנות ושגרתיות: למיין הודעה, לשלוף שדות מחשבונית, לסכם שרשור, להחליט לאיזה צוות שייכת פנייה. מיעוט דורש שיקול דעת אמיתי. ועדיין, ברוב המערכות הכול נשלח לאותו מודל חזק, כי הוא זה שהוגדר ראשון.

מה זה אומר קטן בפועל

למודל קטן יש פחות פרמטרים, ולכן כל טוקן דורש ממנו פחות חישוב. התוצאה היא מהירות ומחיר. אנתרופיק מפרסמת מחיר להייקו 5.5 החל מ־0.10 דולר למיליון טוקנים בקלט ו־0.50 דולר למיליון טוקנים בפלט, בבקשות של עד 100 אלף טוקנים, מול 1 דולר ו־5 דולר בהייקו 4.5. לדברי החברה זה זול בממוצע בכ־75%. זה גם ההייקו הראשון עם הגדרת מאמץ שאפשר לכוונן, כך שאפשר לאזן בין עלות לעומק בכל משימה.

הדוגמאות של אנתרופיק עצמה מתאימות לתבנית: סיכומים, סיווג, שאילתות על מסד נתונים, תמיכה חיה בלקוחות ועבודת סוכני משנה לצד מודלים גדולים. מחירים והצהרות כאלה משתנים, אז בדקו בדף המחירים לפני שמתקצבים.

הארכיטקטורה: מתכנן אחד, הרבה עובדים

התכנון שנגזר מזה פשוט. מודל חזק מחליט מה צריך לעשות ומפרק לחלקים. מודלים קטנים מבצעים את החלקים, במקביל, בשבריר מהעלות. המודל החזק בודק את התוצאה.

כך בדיוק עובדים סוכני משנה בקלוד קוד. אפשר לנעול סוכן משנה על מודל קטן בשורה אחת בהגדרה שלו:

model: haiku

אפשר גם להחליף את כל השיחה בפקודה הבאה, אחרי עדכון, כי המודל החדש דורש גרסה עדכנית:

claude update
/model haiku

איפה זה נשבר

מודלים קטנים מתקשים כשמשימה דורשת כמה שלבים של שיקול דעת, כשההוראות עמומות, או כשטעות מוקדמת מצטברת לטעויות מאוחרות. אנתרופיק עצמה אומרת שסונט 5.5 ואופוס 5.5 נשארים טובים יותר בקוד אג'נטי מורכב. מודל קטן מהיר גם כי הוא עושה פחות חשיבה על כל טוקן, ויש משימות שזקוקות לה.

לכן הכלל הוא לא להשתמש במודל הזול בכל מקום. הכלל הוא להפסיק להשתמש בחזק כברירת מחדל. מתחילים כל משימה חוזרת בקצה הקטן, ומעלים רק כשאיכות הפלט מכריחה.

מה לעשות מחר

רשמו את המשימות שאתם מריצים בכל שבוע, והדביקו בשיחה עם קלוד:

אפרט משימות שחוזרות בעבודה שלי בכל שבוע. לכל אחת כתוב אם מספיק מודל קטן ומהיר או שצריך מודל חזק, והוסף סיבה של משפט אחד. מיון, חילוץ נתונים וסיכום מתאימים בדרך כלל למודל קטן. שיקול דעת בכמה שלבים או הוראות עמומות דורשים בדרך כלל מודל חזק. המשימות שלי: ...

קחו את הקבוצה הראשונה, בדקו אותה על עשר דוגמאות אמיתיות והשוו לתוצאה שאתם מקבלים היום.