שיעור 8 — ידע, זיכרון ו־RAG
שלושה תפקידים של מידע
| תפקיד | מה יש בו | דוגמה |
|---|---|---|
| הקשר | מה נשלח לפנייה הנוכחית | השאלה, P:1 ו־C:1 |
| מצב עבודה | מה היישום עוקב אחריו במשימה | מזהים שכבר נבדקו |
| זיכרון שמור | פתק לפעם הבאה | „השתמשנו ב־P:1 וב־C:1” |
פתק שמור אינו נכנס למודל מעצמו. היישום טוען אותו, בודק גרסה, ומביא את הקטעים עצמם. פתק שאומר „הריקול 95%” מפסיק להיות תקף אחרי תיקון שאומר 36 מתוך 40.
שליפה אינה תשובה
מחלקים מקורות לקטעים עם מזהה יציב. חיפוש מילים מוצא מונח מדויק. חיפוש לפי וקטורים מוצא ניסוח קרוב, ויכול לקרב גם טענה הפוכה. אחרי הדירוג קוראים את הקטע.
שליפה של קטע אחד אינה מוכיחה ששאר המאגר ריק. רק אחרי שבדקו את החבילה המותרת מותר לומר שאין בה ראיה. וגם אז לא מסיקים שהערך החסר הוא אפס.
סוכן מחליט אם לשלוף, אם לשלוף שוב, או אם לענות. מערכת ששולפת תמיד באותו אופן אינה מדגימה את ההחלטה הזו.
בחרו „עלות חסרה” והשוו ל„שתי דרישות”. אחר כך הורידו את התקציב ל־1 וראו עצירה, לא סירוב.
לקריאה
Lewis ואחרים, Retrieval-Augmented Generation, NeurIPS 2020. arXiv:2005.11401. את התקציר, את איור 1, ואת פתיחת סעיף 2.