למה שיחות ארוכות מתאטות, ומה עושים

המודל לא זוכר. הוא קורא מחדש.

רוב האנשים מדמיינים שיחה כזיכרון רציף. זה לא כך. מודל שפה לא שומר דבר בין הודעות. בכל תור כל השיחה עד כה נכנסת שוב כקלט, והמודל מייצר את התשובה הבאה מתוך כולה.

יש לזה תוצאה ישירה. ההודעה המאה לא נענית לאור ההודעה הקודמת בלבד. היא נענית מול תשעים ותשע האחרות, ועוד ההודעה החדשה שלכם.

מה קורה בצד השרת

העבודה מתחלקת לשני שלבים. קודם המודל קורא את כל הקלט בבת אחת. אחר כך הוא כותב את התשובה טוקן אחרי טוקן, וכל טוקן תלוי בקודם לו, ולכן את החלק הזה אי אפשר להריץ במקביל.

כדי לא לחשב הכול מחדש בכל טוקן, המערכת שומרת ייצוג פנימי של כל טוקן שכבר עובד. זה נקרא מטמון מפתחות וערכים. זה זיכרון העבודה של המודל עבור השיחה הנוכחית, והוא יושב בזיכרון של המעבד הגרפי, לצד המודל עצמו.

המטמון גדל עם אורך השיחה. שיחה ארוכה תופסת יותר זיכרון, והזיכרון הזה משותף לבקשות של הרבה משתמשים אחרים על אותה חומרה. בגלל זה הקשר ארוך יקר להגשה, ובגלל זה ספקים בונים סביבו מנגנוני מטמון ותזמון.

מה זה אומר לכם

שלוש השפעות מעשיות, לפי רמת הוודאות.

עלות. דפי העזרה של אנתרופיק על שימוש בקלוד מונים את אורך השיחה הנוכחית כאחד הגורמים שמשפיעים על מגבלות השימוש, ומציינים שהמטמון פג אחרי תקופה של חוסר פעילות. שיחה ארוכה שנשענת על מטמון שהתקרר היא המקרה היקר.

מהירות. יש יותר קלט לקרוא לפני שהמילה הראשונה מופיעה, ולכן תשובות מתחילות מאוחר יותר ככל שהשיחה גדלה.

תשומת לב. כאן מדובר בנטייה ולא בהבטחה. כשהרבה חומר יושב מעל השאלה הנוכחית, פרטים מההתחלה נוטים לקבל פחות משקל. אם החלטה מהודעה 8 חשובה בהודעה 150, אל תניחו שהיא עדיין במוקד.

העמדה: שיחה היא מפגש עבודה

התייחסו לשיחה כמו למפגש שמסיימים, לא כמו לארכיון שממשיכים להוסיף לו. פותחים שיחה חדשה כשהנושא מתחלף, או כשהשיחה הנוכחית התארכה ואתם שמים לב שהתשובות מתחילות לסטות.

המחיר הוא ששיחה חדשה לא יודעת כלום. התיקון הוא סיכום מסירה: ההחלטות שהתקבלו, השאלות שנשארו פתוחות, המספרים המרכזיים, הקבצים שהשתמשתם בהם והצעד הבא, כתובים כך שאפשר להדביק אותם כהודעה הראשונה בשיחה החדשה. סיכום מאבד ניואנסים, ולכן קראו אותו לפני שסומכים עליו.

חומר שחוזרים אליו שייך למקום אחר. אנתרופיק ממליצה על פרויקטים לכל מה שמפנים אליו שוב ושוב. הנחיות קבועות, מסמכי רקע ומדריכי סגנון שייכים לשם, כדי שתפסיקו להדביק אותם בכל שיחה.

איפה זה נשבר

יש עבודה שבאמת צריכה שיחה ארוכה אחת, כמו עריכה של מסמך ארוך אחד קטע אחר קטע. שם הפתרון הוא לא להתחיל מחדש אלא לשמור על מיקוד: משימה אחת, מסמך אחד. וסיכום טוב רק כמידת ההבנה של המודל מה היה חשוב, אז בדקו שהמספרים שרדו.

מה לעשות מחר

בפעם הבאה ששיחה עוברת שעה או שהנושא מתחלף, הדביקו בסופה:

סכם את השיחה הזאת כך שאוכל להדביק את הסיכום בשיחה חדשה ולהמשיך בלי לאבד דבר. כלול את ההחלטות שהתקבלו, שאלות פתוחות, מספרים מרכזיים, קבצים שהשתמשנו בהם והצעד הבא. כתוב הכול כהודעה אחת שמתחילה במילים: אנחנו ממשיכים עבודה קודמת.

פתחו שיחה חדשה, הדביקו כהודעה ראשונה, והשוו את מהירות התשובות.