מושגי יסוד
- מודל שפה גדול (Large Language Model - LLM): מודל AI מתקדם שיכול להבין ולייצר טקסט דמוי-אנושי על ידי חיזוי המילה הבאה ברצף.
- AI Agent: יישום תוכנה המופעל על ידי מודלים שפתיים גדולים, המבצע משימות ספציפיות באופן אוטונומי ומקבל החלטות מורכבות.
- מערכת מבוססת-סוכנים (Agent-Based System): גישה בה סוכני תוכנה פועלים באופן עצמאי לפתרון בעיות באמצעות קבלת החלטות ואינטראקציות.
מושגי ביצועים וניטור
- לטנטיות מערכת (System Latency): זמן העיכוב בין קבלת קלט על ידי סוכן AI לבין מתן תגובה.
- שיעור שגיאות קריאת LLM (LLM Call Error Rate): מדד אמינות קריטי העוקב אחר תדירות בקשות API שנכשלו ושגיאות עיבוד כאשר סוכן AI מתקשר עם מודל השפה שלו.
- לטנטיות לקריאת כלי (Latency per Tool Call): מדד ביצועים המודד את זמן העיכוב בין בקשת סוכן AI להשתמש בכלי ספציפי לבין קבלת תגובת הכלי.
- שימוש בטוקנים לכל אינטראקציה (Token Usage per Interaction): מדד יעילות משאבים העוקב אחר כמה יחידות חישוביות (טוקנים) צורך סוכן AI במהלך עיבוד משימה.
ארכיטקטורה ותכנון
- זיכרון ישויות (Entity Memory): צורה מיוחדת של זיכרון AI השומרת מידע מפורט על ישויות ספציפיות (אנשים, ארגונים, מושגים) לאורך אינטראקציות מרובות.
- אדם-בלולאה (Human-in-the-Loop - HITL): גישת תכנון מערכת המשלבת פיקוח והתערבות אנושית בתוך תהליכי AI אוטומטיים.
- תבנית מרובת-סוכנים (Multi-Agent Pattern): גישה מובנית לארגון אינטראקציות בין סוכני AI מרובים, כולל תבניות היררכיות, רציפות ודינמיות.
- תכנון סוכן מבוסס-תפקידים (Role-Based Agent Design): גישה ארכיטקטונית בה סוכני AI מקבלים תפקידים ספציפיים עם אחריות, כלים ותבניות אינטראקציה מוגדרות בתוך מערכת גדולה יותר.
- ניהול מצב (State Management): מעקב ושליטה שיטתיים במצבים פנימיים, זיכרון והקשר של סוכן AI לאורך מחזור הפעולה שלו.
- תכנון היררכי (Hierarchical Design): ארכיטקטורת מערכת בה סוכני AI מתמחים מטפלים במשימות ספציפיות, מפחיתים את המורכבות של הכוונת סוכן יחיד.
ביצוע משימות וכלים
- ניצול חלון הקשר (Context Window Utilization): מדד המודד את היעילות שבה סוכן AI משתמש ביכולת העיבוד הזמינה שלו לניתוח ושמירת מידע.
- שיעור הצלחת פורמט פלט (Output Format Success Rate): מדד איכות המעריך עד כמה סוכן AI נצמד לדרישות פורמט מוגדרות וסטנדרטים של הצגה בתפקידי משתמשים והקשרים שונים.
- צעדים למשימה (Steps per Task): מדד יעילות העוקב אחר מספר הפעולות הנפרדות שסוכן AI דורש להשלמת משימה נתונה.
- שיעור השלמת משימות (Task Completion Rate): מדד ביצועים מקיף המודד את אחוז המשימות שסוכן AI משלים בהצלחה ללא התערבות אנושית.
- דיוק בחירת כלים (Tool Selection Accuracy): מדד המעריך עד כמה סוכן AI בוחר כלים או שיטות ספציפיים מכלי העבודה הזמינים שלו בהתבסס על דרישות המשימה ומורכבותה.
- קריאת כלים (Tool Calling): המנגנון שבאמצעותו סוכני AI מתקשרים עם מערכות חיצוניות ומקורות נתונים לפתרון בעיות מורכבות באמצעות אינטראקציות עם כלים מרובים.
טכניקות מתקדמות
- טכניקות הנחיית מודל (Prompting Techniques): שיטות מגובות במחקר להנחיית התנהגות LLM והפחתת הזיות בסוכני AI.
- רפלקציה (Reflexion): טכניקת הנחיה מתמחה המשפרת את יכולות ההנמקה של סוכן AI באמצעות רפלקציה עצמית ושיפור.
- ארכיטקטורה ללא שרת (Serverless Architecture): תכנון מערכת מבוססת ענן בו משאבים חישוביים מוקצים באופן דינמי בהתבסס על דרישות העומס של סוכן AI.
- פירוק משימות (Task Decomposition): תהליך של פירוק משימות מורכבות לתת-משימות קטנות וניתנות לניהול שסוכני AI יכולים לטפל בהן ביעילות.
- אוטומציית משימות (Task Automation): תהליך של שימוש ב-AI לביצוע משימות חוזרות או מורכבות ללא התערבות אנושית.