מסווג טוב רק כמו ספר הכללים שלו

רוב מערכות הסיווג נתקעות כי הכללים שלהן לא משתנים

הדרך הנפוצה לבנות מיון אוטומטי היא לכתוב הגדרות ביום הראשון, לחבר את המודל ולהמשיך הלאה. ההגדרות האלה נכתבות לפי מה שנדמה לנו שהקלט נראה. הקלט האמיתי מוזר יותר, ומערכת שרצה על טיוטה ראשונה תנחש בביטחון או שלא תהיה לה דרך להגיד שהיא לא יודעת.

מיון הוא החלטה שחוזרת אלפי פעמים. משפרים החלטה כזאת על ידי לימוד של המקרים שבהם היא התקשתה, ולכן שאלת התכנון היא איך מוציאים את המקרים האלה החוצה באופן אוטומטי.

מפל פועל לבד רק כשהוא בטוח

הדפוס נקרא מפל. מודל מהיר וזול קורא כל פריט ומחזיר תווית עם ציון ביטחון. מעל סף מסוים משתמשים בתווית כמו שהיא. מתחתיו הפריט עובר למודל חזק יותר או לבודק אנושי.

הסף הוא החלטת מדיניות. תשעים אחוז הוא נקודת פתיחה סבירה, ואתם מזיזים אותו כשאתם לומדים כמה עולה טעות בהקשר שלכם. תיבת פניות שמנותבת לחיוב, לתמיכה טכנית ולמכירות היא מבחן ראשון נקי, כי ניתוב שגוי קל לזיהוי ולתיקון.

המקרים שהועברו הם אות האימון

כל פריט שנפל מתחת לרף הוא מקרה שבו ההוראות הנוכחיות של המודל המהיר לא הספיקו. המודל החזק או האדם מכריעים בו, וההכרעה הזאת היא המידע המועיל ביותר שתאספו.

האינסטינקט הרגיל הוא לאמן מחדש את המודל על המקרים האלה. ברוב תהליכי העבודה העסקיים זה הכלי הלא נכון. אימון מחדש איטי, קשה לבדיקה, ומשנה התנהגות בדרכים שאי אפשר לחזות בקלות.

עורכים את ספר הכללים ולא את המודל

המודל המהיר עובד לפי ספר כללים כתוב: הגדרה לכל קטגוריה וכללים לגבולות ביניהן. כשמקרה שהועבר נפתר, שואלים איזו שורה בספר הייתה מאפשרת למודל המהיר לטפל בו, ומוסיפים אותה. כלל גבול יכול לקבוע, למשל, שהודעה שמזכירה את עמוד התשלום ואין בה מספר הזמנה נחשבת תקלה טכנית עד שיוכח אחרת.

בשבוע הבא מקרה כזה עובר את הסף בלי עזרה. החלק שדורש העברה מצטמק, והמודל עצמו נשאר ללא שינוי.

יש לזה תכונה שחשובה לכל מי שאחראי על המערכת. השיפור יושב במסמך בשפה רגילה. אפשר לקרוא אותו, להשוות גרסאות, להראות אותו לגורם ציות ולבטל עריכה גרועה תוך שניות. מודל שאומן מחדש לא נותן שום דבר מזה.

אפשרות של אף אחד מאלה מונעת בחירה כפויה

מסווג שנדרש לבחור בין שלוש תוויות יבחר אחת, גם כשהקלט לא מתאים לאף אחת. בחירה כפויה יוצרת ביטחון מנופח בתשובות שגויות, וזו התקלה שפוגעת באמון יותר מכל.

מוסיפים אפשרות אחרונה בשם אף אחד מאלה. היא נותנת למודל יציאה כנה, והערימה שהיא ממלאת מראה איפה יש חור בספר הכללים. היא לא מתאימה לכל משימה, אבל איפה שהיא רלוונטית היא כמעט בחינם.

מצב צל לפני הפעלה

לפני שמסווג חדש משתלט, מריצים אותו במצב צל. הוא מעבד כל פריט ורושם את ההחלטה שלו, בזמן שהתהליך הקיים, אנושי או אחר, ממשיך לקבל את ההחלטות האמיתיות. אחרי תקופה משווים.

במקומות שבהם הם לא הסכימו מגלים אם המערכת החדשה טעתה או שטעה ההרגל הישן. שום דבר בייצור לא בסיכון, והגרסה הראשונה של עדכון הכללים כבר מנוסחת מתוך אי ההסכמות.

בחירת המודל חשובה פחות מהלולאה

מודלי סיווג מהירים מאוד מוזילים את הדפוס הזה עד כדי הרצה על כל פריט. ג'ב הוא אחד ששומעים עליו. את נתוני המהירות והעלות שמסתובבים לגביו לא בדקתי, ואין בהם צורך כדי להתחיל. את הלולאה אפשר להריץ כבר היום עם קלוד.

מה לנסות מחר

הדביקו לקלוד חמש עשרה הודעות אמיתיות מהתיבה שלכם. בקשו ממנו למיין אותן לערימות עם שמות, כולל ערימה בשם לא בטוח, ולהניח שם כל מה שמתחת לתשעים אחוז ביטחון. אחר כך בקשו עריכה אחת לספר הכללים על סמך מה שנחת בערימה.

קראו את העריכה. אם זה כלל שהייתם כותבים בעצמכם, השלמתם את הסיבוב הראשון של הלולאה.