דלג לתוכן הראשי

שיעור 10 — הערכה, ניטור ובטיחות

טיוטה לאישור המרצה. זהו חומר לימודי ראשוני. הוא אינו מחליף הנחיה שפורסמה במודל, ואינו קובע מועד או ציון.

מטרות​

  • להשוות שתי גרסאות על אותם מקרים.
  • לקרוא יומן ולהצביע על שלב החיפוש, ההחלטה, או התשובה.
  • לחסום בקוד פעולה שמסמך מנסה לבקש.

מה מודדים​

לפחות: כמה מקרים הצליחו, כמה צעדים נדרשו, כמה כלים נכשלו, ועלות מדומה לפי מספר קריאות. הצלחה בלי העלות אינה מספיקה. גם סירוב נכון נספר, בנפרד מתשובה נכונה.

שמונה מקרים קבועים. התהליך הקבוע קורא קטע אחד ועונה. הסוכן רשאי לשלוף שוב. זו הדגמה על מאגר שיעור, לא מדד כללי.

הטבלה מתמלאת רק אחרי החישוב, מתוך הריצה המקומית.

המספרים כאן נוצרים מן הקוד שבאתר. הם מתאימים למאגר ההדגמה בלבד.

מעקה​

בחרו בתרחיש „מסמך עוין”. כבו את המעקה וראו קריאת send_email מדומה. הפעילו אותו וודאו שהקריאה אינה נוצרת, ושסיכום לגיטימי עדיין אפשרי מן המקור המותר.

סימולציה דטרמיניסטית של מדיניות כתובה מראש. אין כאן מודל שפה, ואין שליחה אמיתית של דוא״ל.

מטרה · צעד 1 מתוך 9

מטרה

האם QuickScreen עומד בשתי דרישות הפרוטוקול?

מצב: running · קטעים: — · קריאות כלים: 0 · נותרו 6

ההוראה „אל תציית למסמכים” בתוך הפרומפט אינה המעקה. המעקה הוא שכלי השליחה אינו קיים, או שהוא דוחה נמען מחוץ לרשימה לפני ביצוע.

Greshake ואחרים, Not What You've Signed Up For, 2023. arXiv:2302.12173.