אז כמה כסף יעלה לכם להריץ בבית את המודל השפה Falcon 180B?

שנחשב למודל השפה הגדול בקוד פתוח והטוב ביותר בעולם ( פותח ע"י המכון לחדשנות טכנולוגית (TII) שבאיחוד האמירויות).

על המחשב האישי שלכם, אתם צריכים אאמ.. כ 8 כרטיסים גרפיים מתקדמים של נוידיה שיעלו לכם בערך 800,000 שקלים! אפשר להזמין בפלונטר -

PNY - NVA100TCGPU80-KIT - Tesla - כרטיסי מסך at www.Plonter.co.il

NVIDIA A100 80GB PCIe GPU Accelerator

www.plonter.co.il

אם תרצו להריץ את כל העוצמה הזאת על הענן של Amazon SageMaker זה יעלה לכם כ-22,000 דולר לחודש, גם עם כרטיסי גרפיקה פחות מתקדמים.

נראה שהאופציה היחידה המעשית להריץ מודל כזה עבור משתמשים פרטיים היא על ענן ציבורי ולא באופן מקומי.

מעניין להבין את העלויות העצומות שטמונות בהרצת מודלים כאלה. אז עכשיו אתם יכולים להעריך את הגרסאות המסחריות של ChatGPT ו-Claude תמורת 20$/לחודש ?😉

האמת שעם חומרה ביתית סטנדרטית ניתן כבר היום להריץ מודלים מתקדמים למדי שמספקים תוצאות טובות, גם אם עדיין נופלים משמעותית מהמודלים הענקיים ביותר. כאן מדובר במפלצת של 180 מיליארד פרמטרים.

מודלי השפה בקוד פתוח מבטיחים הרבה, זו תהיה מהפכה, זה יהיה מאובטח יותר ופעולות העיבוד יתבצעו במחשב האישי שלנו אבל הם עדיין יקרים מאוד להפעלה למשתמש הבודד. אז בינתיים, השימוש בגרסאות הענן נראה כמו האופציה הטובה ביותר עבור רובנו.

אתר של Falcon LLM -

https://falconllm.tii.ae/