רשימות על עבודה עם AI
המשפט הכי שימושי שבינה מלאכותית ארגונית יכולה להגיד
לבינה מלאכותית ארגונית שעונה על כל שאלה יש פגם בתכנון. התיקון הוא סף סירוב, משפטים מצוטטים ומערך בדיקה שכולל שאלות שהיא חייבת לסרב להן.
מודל עם ראיות חלקיות עונה בכל זאת
רוב המערכות הארגוניות עובדות בשיטה שנקראת שליפה ממסמכים. לפני שהמערכת עונה, היא מחפשת במסמכים שלכם ומעבירה את הקטעים הטובים ביותר למודל שפה. התפקיד של המודל הוא לכתוב טקסט שוטף, והוא עושה את זה בין אם הקטעים שלמים, חלקיים או לא קשורים. מבחוץ, תשובה מבוססת וניחוש שוטף נראים אותו דבר. לכן המערכת עצמה צריכה לזהות חוסר בראיות. אי אפשר להשאיר את זה למודל.
סירוב דורש סף
השליפה מחזירה ציון רלוונטיות לכל קטע. קובעים עליו סף. מתחת לסף אין תשובה: המערכת אומרת שהשאלה לא מכוסה במסמכים המאושרים ומעבירה אותה לאחראי על הנושא. סף גבוה מדי גורם לה לסרב לשאלות שהיתה יכולה לענות עליהן. סף נמוך מדי מחזיר את הניחושים. מכוונים אותו על השאלות שלכם, לא על ברירת מחדל.
קודם כול צריך למצוא את העמוד הנכון
סף סירוב טוב רק כמו החיפוש שמאחוריו. שתי החלטות חשובות במיוחד.
הראשונה: מחפשים לפי משמעות ולפי התאמה מדויקת בו זמנית. משמעות מטפלת בניסוחים שונים, כך ש"המשאבה לא נטענת" מוצאת עמוד על אובדן יניקה. התאמה מדויקת מטפלת במזהים, כי למספר פריט או לסעיף אין שכנים במשמעות.
השנייה: חותכים לפי הכותרות של המסמך עצמו. כל סעיף הופך לקטע אחד של כ־500 יחידות טקסט, כשיחידה היא חלק קטן ממילה. טבלאות ונהלים ממוספרים נשארים שלמים, כי חיתוך שלהם מנתק ערך מהפריט שהוא שייך אליו. כל קטע מקבל בראשו את נתיב הכותרות שלו, כך שהוא נושא איתו את ההקשר.
תוויות והרשאות נאכפות לפני השליפה
לכל קטע יש תוויות: מאיזה מסמך, באיזו גרסה (נוכחית או הוחלפה), לאיזה מוצר או אתר, ומי רשאי לפתוח אותו. תווית הגרסה מונעת מהמערכת לצטט את המדריך של השנה שעברה. תווית ההרשאה עושה יותר. הגישה נבדקת בקוד לפני שהחיפוש רץ, כך שקובץ מוגבל אף פעם לא נשלף והמודל אף פעם לא רואה אותו. סינון אחרי שהמודל כבר קרא משהו מאוחר מדי.
כל משפט מצוטט וכל מספר נבדק
התשובה נכתבת רק מהקטעים שעברו את הסף, וכל משפט מצטט את העמוד שלו. בדיקה שנייה, נפרדת ממי שכתב את התשובה, משווה כל טענה לקטע המצוטט. אחר כך קוד פשוט מוודא שכל מספר בתשובה מופיע בטקסט המקור. אם בדיקה נכשלת, המערכת מנסה פעם אחת נוספת ואז מסרבת.
בודקים עם שאלות שהיא חייבת לסרב להן
מערך בדיקה הוא רשימה של שאלות אמיתיות עם התשובה הנכונה והעמוד הנכון. החלק שרוב הצוותים מדלגים עליו הוא שאלות שהמערכת צריכה לדחות. בלעדיהן מודדים עד כמה היא עונה טוב ולא לומדים כלום על עד כמה היא שותקת כשצריך.
עוקבים אחרי ארבעה דברים: האם מצאה את העמוד הנכון, האם כל טענה נתמכת, האם סירבה כשהיה צריך, והאם משהו מוגבל דלף. הדבר האחרון חייב להיות אפס. מריצים את המערך אחרי כל שינוי.
ואז קוראים את הסירובים כל שבוע. כל אחד מסמן שאלה שאנשים שואלים ואף מסמך מאושר לא עונה עליה, כך שיומן הסירובים הוא רשימה של נהלים שאף אחד לא כתב.
גרסה שאפשר לנסות היום
אין מערכת שיכולה להבטיח שהיא אף פעם לא טועה. אפשר לבנות כזו שמציגה ראיות, כך שאדם בודק אותה בשניות.
לגרסה הקטנה לא צריך מהנדסים. פותחים פרויקט בקלוד, מעלים כמה קבצים שלכם וכותבים בהוראות הקבועות:
"ענה רק על סמך הקבצים בפרויקט הזה. בכל תשובה צטט את המשפט המדויק, שם הקובץ והעמוד. אם התשובה לא כתובה בקבצים, כתוב בדיוק: לא מצאתי את זה בקבצים. אל תשלים מהידע הכללי שלך. אם שני קבצים סותרים, הצג את שניהם ואל תבחר."
שואלים שלוש שאלות שאתם יודעים את התשובה עליהן, ואחת שאתם יודעים שהיא לא בקבצים. האחרונה היא מבחן הסירוב. אם קלוד אומר שלא מצא, הבסיס תקין. אם הוא ממציא תשובה, מחדדים את ההוראות ושואלים שוב. פותחים את העמוד המצוטט פעם או פעמיים, כי הוראות משפרות התנהגות בלי להבטיח אותה.