קוסיין ג'יני הוא עוזר תוכנה מבוסס בינה מלאכותית שמסוגל לזהות ולפתור באגים, לבנות תכונות ולשפר קוד בשיתוף פעולה עם משתמשים באופן עצמאי. הוא מסוגל להתמודד עם בעיות טכניות מורכבות ולבצע שינויים בקוד עם דיוק גבוה יותר ופחות אסימונים (tokens) הנדרשים. ג'יני מונע על ידי מודל GPT-4o שעבר אימון מחדש (fine-tuned) על דוגמאות של מהנדסי תוכנה אמיתיים בעבודה, מה שמאפשר למודל ללמוד להגיב בצורה ספציפית. המודל גם אומן כדי שיוכל לפלוט בפורמטים ספציפיים, כמו טלאים (patches) שניתן לשלב בקלות בבסיסי קוד.
עם מודל GPT-4o שעבר אימון מחדש, ג'יני משיג ציון SOTA (State-of-the-Art - מצב הטכנולוגיה המתקדם ביותר) של 43.8% על ה-SWE-bench Verified benchmark החדש, שהוכרז ביום שלישי האחרון. ג'יני גם מחזיק בציון SOTA של 30.08% על SWE-bench Full, ומנצח את הציון הקודם שלו של 19.27%, השיפור הגדול ביותר אי פעם בבנצ'מרק הזה.
מונחים:
- Fine-tuning: אימון מחדש של מודל שפה גדול קיים (כמו GPT-4o) על מטלה או דומיין ספציפיים כדי לשפר את הביצועים שלו באותו תחום.
- Tokens: יחידות בסיסיות של טקסט (מילים, חלקי מילים או תווים) שמודלי שפה מעבדים.
- Patches: קבצי קוד המכילים שינויים שבוצעו בקוד המקור של תוכנה, המשמשים לתיקון באגים או הוספת תכונות חדשות.
- SWE-bench: בנצ'מרק (Benchmark) המשמש להערכת הביצועים של מערכות בינה מלאכותית בפתרון בעיות הנדסת תוכנה. SWE-bench Verified ו-SWE-bench Full הם שני סוגים שונים של בנצ'מרק זה.
- SOTA (State-of-the-Art): המצב הטכנולוגי המתקדם ביותר בתחום מסוים, כלומר השיטות או המערכות בעלות הביצועים הטובים ביותר עד כה.