אף אחד לא כתב את הקוד שגורם לקלוד לכתוב פייתון

מודל שפה מאומן על משימה אחת, ושום דבר אחר לא מתוכנת

אף אחד לא כתב את הקוד שמאפשר לקלוד לכתוב פייתון שעובד או לתרגם מצרפתית. אין מודול לאף אחד מהשניים. יש מטרה אחת, ניחוש הטוקן הבא, שמופעלת על גוף עצום של טקסט וקוד. כל יכולת שיש למודל יצאה מאופטימיזציה של מספר אחד.

התהליך מתחיל בנתונים. אוספים טקסט, מסירים כפילויות, מסננים תוכן באיכות נמוכה ומנקים. אחר כך מגיעה חלוקה לטוקנים. המודל לא קורא מילים. הוא קורא טוקנים, שיכולים להיות מילה שלמה, חלק ממילה או סימן פיסוק, וכל טוקן הופך לווקטור של מספרים שנקרא הטמעה.

הטרנספורמר מחליט איזה הקשר חשוב

הרשת היא טרנספורמר, מערום של שכבות שהמנגנון המרכזי בהן הוא קשב. הקשב נותן לכל טוקן לשקלל את כל שאר הטוקנים בהקשר ולמשוך מהם את אלה שחשובים. במשפט המתכנת תיקן את השרת כי הוא קרס, הקשב מחבר את המילה הוא אל השרת. שום כלל דקדוק לא עושה את העבודה הזאת.

האימון המקדים הופך טעות ניחוש ליכולת

האימון מתחיל ממשקלים אקראיים. המודל מנחש את הטוקן הבא, פונקציית ההפסד מודדת כמה הוא טעה, אלגוריתם ההפצה לאחור מייחס את הטעות למשקלים בודדים, וירידה במורד הגרדיאנט מזיזה אותם מעט בכיוון טוב יותר. חוזרים על זה על מערך נתונים עצום, באלפי מעבדים גרפיים, במשך שבועות. זה האימון המקדים, ומשם מגיעים רוב הידע והיכולת של המודל.

מה שיוצא הוא השלמה אוטומטית חזקה מאוד. שואלים אותו שאלה והוא עלול להמשיך בעוד שאלות, כי זו המשכה סבירה של טקסט.

האימון המשלים מעצב התנהגות על גבי היסוד הזה

שלוש שיטות הופכות את ממשיך הטקסט לעוזר. כוונון מפוקח משתמש בזוגות שנכתבו בידי אנשים, שאלה ותשובה אידיאלית. למידת חיזוק ממשוב אנושי משווה בין פלטים ומתגמלת את הטובים יותר. במודלי חשיבה נוספת גם למידת חיזוק עם תגמולים שניתנים לאימות, כלומר תשובת המתמטיקה תאמה או לא תאמה, והקוד עבר את הבדיקות או לא עבר. האות האחרון חשוב כי הוא לא תלוי בשיקול דעת של אף אחד.

ההגשה היא בעיית הנדסה נפרדת. המודל מפוצל על פני הרבה מעבדים גרפיים, המשקלים שלו מכווצים כדי לתפוס פחות זיכרון, והבקשות מאוגדות כך שאלפי משתמשים חולקים אותה חומרה. זה הופך את המודל למהיר וזול יותר. זה לא משנה מה הוא יודע.

שתי השלכות מעשיות

הפלט מותנה בהקשר. המודל מייצר את ההמשך הסביר ביותר של מה שנמצא בחלון שלו, ולכן החלון הוא הידית. חומר שתספקו משפר את הניחוש. חומר שתשאירו בחוץ יושלם מדפוסים כלליים, וזו הסיבה שבקשה חשופה מחזירה תשובה גנרית.

שטף אינו סימן לנכונות. טקסט שוטף הוא בדיוק מה שהמטרה מתגמלת, ולכן מספר שגוי ומספר נכון מגיעים באותו טון בטוח. כל דבר שנושא מספר, ציטוט או טענה משפטית צריך בדיקה שנמצאת מחוץ למודל. התייחסו לתשובה הראשונה כאל טיוטה.

למה הניסוח סתם השלמה אוטומטית מטעה

הניסוח מתאר את המטרה במדויק. הוא לא אומר דבר על היכולת, כי היכולת מעולם לא הוגדרה בשום מקום. כתיבת קוד, הסבר של פיזיקה ותרגום בין שפות צמחו ממטרה פשוטה אחת שחוזרת בהיקף עצום, לנחש מה בא אחר כך ולטעות מעט פחות בכל פעם.

המטרה גם לא אומרת דבר על התקרה. הייתי זהיר ממי שטוען שהוא יודע בדיוק איפה היא.

מה לנסות מחר

בקשו מקלוד לספר על עצמו:

הסבר לי בקצרה איך בנוי מודל שפה, ואז תן שלושה כללים לניסוח בקשות אליך. לכל כלל ציין מתי הוא לא יעזור.

קראו את שלושת הכללים. רובם יסתכמו בלתת למודל יותר חומר לעבוד איתו.