רוב ההחלטות בעסק הן סיווג, אז אל תשלמו על יצירה

רוב מה שעסקים מבקשים ממודל שפה הוא סיווג, ורובם משתמשים בו ככותב טקסטים. האם הליד הזה רציני? לאיזה צוות שייך המייל הזה? האם בקשת ההחזר הזו רגילה? כל אחת מהן היא בחירה מתוך קבוצה סגורה, שחוזרת מאות או אלפי פעמים ביום. מה שצריך הוא תווית, לא חיבור.

סיווג מחזיר התפלגות, לא פרוזה

יצירה מפיקה טקסט פתוח. סיווג בוחר מתוך אפשרויות שהגדרתם מראש. יש שלוש צורות שימושיות: כן או לא, בחירה בין כמה קטגוריות, וציון סדור שבו האפשרויות יוצרות סולם, למשל אפס לחוסר עניין ועד שלוש להובלת הסבב.

הפלט הטבעי של מסווג הוא התפלגות הסתברויות על האפשרויות. שאלת כן או לא יכולה להחזיר 94% כן ו-6% לא. שאלת בחירה מחזירה הסתברות לכל קטגוריה, והסכום הוא 100%. ציון סדור אפשר לדווח כתוחלת על הסולם. מערכת שעובדת כך לא עונה במשפטים, ולכן אין מה לפענח ואין לאן להיסחף.

כיול חשוב יותר משטף דיבור

ההתפלגות שימושית רק אם למספרים יש משמעות. מודל מכויל שאומר 90% צודק בערך תשע פעמים מתוך עשר. התכונה הזו היא מה שמאפשר ניתוב: פועלים אוטומטית מעל סף, ושולחים כל מה שמתחתיו לאדם.

מודל שכותב פסקה שוטפת ומנומקת ולא יכול לומר כמה הוא בטוח לא נותן לכם לפי מה לנתב. שטף נשמע כמו ביטחון בכל מקרה. כיול הוא התכונה שאפשר לבדוק, על ידי הרצה של מדגם מתויג ובדיקה כמה פעמים תשובות ה-90% היו נכונות.

בוחרים מודל לפי עלות וזמן להחלטה

דיוק הוא ציר אחד. להחלטה שמתקבלת אלפי פעמים ביום, זמן ועלות להחלטה הם שני הצירים האחרים, והם מצטברים. שנייה של המתנה הופכת לתור. כמה אגורות הופכות לשורה בתקציב.

מודל קטן ומהיר, מעט פחות מדויק, יכול להיות הבחירה הנכונה לסיווג, כל עוד המקרים הלא בטוחים מגיעים לאדם. את מודל החשיבה הגדול שומרים לעבודה שבה טעות יקרה או שהשאלה פתוחה. זו אותה לוגיקה של איוש: מנתבים לפי מה שכל החלטה מצדיקה.

מערכת 1 ומערכת 2, בשימוש מדויק

מערכת 1 אצל כהנמן היא מהירה, אוטומטית ודורשת מעט מאמץ. מערכת 2 איטית, מכוונת ודורשת מאמץ. כשמיישמים את זה על מודלים, ההבחנה נוגעת לכמות החישוב להחלטה. מסווג שמחזיר תשובה אחת והסתברות משקיע מאמץ של מערכת 1. מודל חשיבה שכותב שרשרת נימוקים ארוכה לפני התשובה משקיע מאמץ של מערכת 2.

ההשוואה לא אומרת דבר על אינטליגנציה, ומערכת 1 היא לא גרסה טובה יותר של מערכת 2. היא גרסה זולה יותר, עם אותם כשלים: היא מהירה, והיא יכולה לטעות בביטחון מלא. לכן הסף ואדם שמטפל בחריגים הם חלק מהתכנון.

מודל בשם ג'ב נבנה לפי הדיווחים בדיוק לפי העיקרון הזה: קלט מובנה פנימה, התפלגות על האפשרויות שלכם החוצה, בלי שיחה. לא בדקתי אותו, והמספרים שמסתובבים סביבו מגיעים מהיצרן ומכמה בודקים, ולכן אני מתייחס אליהם כאל טענות. בהשוואה אחת שצפיתי בה, המודל הגדול ביותר היה המדויק ביותר והמהיר היה קרוב מאחוריו. זה עקבי עם הפשרה שתיארתי, ולא מוכיח מעבר לה.

נסו את זה עם קלוד כבר מחר

קחו משימת מיון אחת שאתם עושים ביד. הדביקו הודעה אמיתית וביקשו תווית ואחוז:

סווג את ההודעה: רציני, לא רציני או לא ברור. אחרי התווית כתוב באחוזים כמה אתה בטוח. בלי הסברים.

את המקרים עם הביטחון הנמוך קראו בעצמכם, ואת השאר תנו לעבור.

איפה זה נשבר

האחוז שקלוד מצהיר עליו הוא סימן גס ולא הסתברות מדודה. 95 ו-60 שונים מאוד זה מזה, ו-87 ו-84 זהים בפועל. וסיווג טוב רק כמו האפשרויות שלו. אם אתם לא מצליחים להגדיר את הקבוצה הסגורה במשפט, המשימה עוד לא סיווג, והיא שייכת למודל האיטי.