העולם המופלא של FLUX

תחום

נוצר ב

Nov 9, 2024 10:49 PM

My Avatar Is working on a New Lora Flux

תוכן עניינים

תוכן עניינים
מושגים
מודלים
שירותים מקוונים
Replicate
Astria
אודות Astria
Civitai
הכנת מאגר הנתונים
אימון על Civitai
טיפים לתוצאות מיטביות
אימון מקומי
טיפים להשגת תוצאות מיטביות
‣
מדריכים טובים מהרשת
בחזרה לדף הבית

מושגים

מושג	הגדרה	שימוש/הקשר	רמת טכניות	דוגמאות או הערות
Flux	פלטפורמה או טכנולוגיה לבניית מודלים AI מותאמים אישית.	משמשת כבסיס לאימון לורות (LoRA) עבור מגוון אפליקציות.	בסיסי	Flux משמש לעיתים קרובות בפרויקטים של AI כמו יצירת תמונות או עיבוד שפה.
LoRA (Low-Rank Adaptation)	טכניקה לאימון מודלים על כמות קטנה של נתונים לשיפור התאמה.	מאפשרת התאמה מהירה למודלים גדולים בפרויקטים שונים.	מתקדם	שימוש נפוץ ביצירת דמויות מדויקות באפליקציות של עיבוד תמונה.
Epoch	מחזור שלם של אימון המודל על כל הנתונים.	משמש בקביעת כמות האימון שהמודל מקבל, משפיע על התוצאות הסופיות.	בסיסי	מספר גבוה מדי עלול לגרום ל-overfitting.
VRAM (Video RAM)	זיכרון של כרטיס המסך, חשוב לאימון מודלים גדולים.	נדרש במיוחד לאימון מודלים עם Batch Size גדול או כמות נתונים גדולה.	בסיסי	RTX 4090 עם 24GB VRAM מאפשר להתמודד עם משימות כבדות.
Learning Rate	קצב הלימוד של המודל בזמן האימון.	משפיע על האופן שבו המודל לומד מהנתונים; ערך לא נכון עלול לפגוע בתוצאות.	מתקדם	ערך גבוה מדי עלול לגרום לדילוג על פרטים חשובים, ערך נמוך מדי עלול להאט את האימון.
Rank	מידת הדחיסה של המודל בעת אימון LoRA.	משפיע על כמות המשאבים שנדרשים ועל איכות המודל הסופי.	מתקדם	ערך גבוה יותר דורש יותר זיכרון ועיבוד.
Batch Size	מספר הדוגמאות שמעובדות במקביל בזמן האימון.	משפיע על מהירות האימון והזיכרון הנדרש.	מתקדם	Batch Size גדול יכול להאיץ את האימון אך דורש יותר VRAM.
Auto-tagging	תהליך שבו התמונות מסומנות אוטומטית בתגים לתיאור התוכן שלהן.	משפר את דיוק המודל ע"י מיפוי מדויק של תכנים לתגים.	בסיסי	משמש לעיתים קרובות בפרויקטים של עיבוד תמונה.
Colab Notebook	מחברת אינטרנטית של גוגל להרצת קוד Python בענן.	משמשת לאימון מודלים של למידת מכונה בצורה נגישה.	בסיסי	כלי פופולרי במיוחד עבור מפתחים בתחילת הדרך.
Overfitting	תופעה שבה המודל מתאים את עצמו יותר מדי לנתוני האימון.	פוגע ביכולת המודל לפעול היטב על נתונים חדשים ולא מאומנים.	מתקדם	קורה כאשר ה-Epochs גבוהים מדי.
Training Steps	מספר הצעדים בהם המודל מתעדכן במהלך האימון.	משפיע על כמות הזמן והמשאבים שנדרשים לאימון.	מתקדם	מספר גבוה של צעדים יכול לשפר את דיוק המודל, אך דורש יותר זמן ומשאבים.
Preprocessing	תהליך הכנת הנתונים לפני הזנתם למודל, כולל שינוי גודל, חיתוך, נרמול ועוד.	משפיע על מה שהמודל לומד ועל יכולת ההכללה שלו.	מתקדם	הבדלים בשיטות Preprocessing בין פלטפורמות יכולים להסביר הבדלים בתוצאות.
Augmentations	טכניקות להגדלת מגוון וכמות הנתונים, כמו היפוך, סיבוב, שינוי צבע ועוד.	מסייע בשיפור איכות המודל ע"י הגדלת המגוון בנתוני האימון.	מתקדם	סוגים ועוצמות שונות של Augmentations משפיעים על תוצאות האימון.
Guidance Scale	פרמטר שמשפיע על מידת ההתאמה של התמונה המיוצרת לטקסט.	ערך גבוה יותר יוצר תמונות שמתאימות יותר לטקסט, אך עלול לפגוע בלכידות.	בסיסי	ערכים בין 2.2 ל-3 נחשבים לטווח אופטימלי ברוב המקרים.
Classifier-Free Guidance (CFG)	טכניקה ליצירת תמונות ע"י שילוב של תחזיות מהמודל עם ובלי בקרת טקסט.	מאפשרת שליטה טובה יותר על התוכן של התמונות המיוצרות.	מתקדם	משמש לעיתים קרובות בשילוב עם LoRA כדי לשפר את התוצאות.

אני מקווה שהטבלה המאוחדת הזו תעזור לך לנהל את המידע בצורה מסודרת וברורה. אם יש צורך בשינויים או תוספות, אני כאן לעזור!

מודלים

כיום קיימים מספר כלים ושירותים שמאפשרים לאמן מודלים מסוג LoRA (Low-Rank Adaptation) עבור Flux. נבחן את האפשרויות הקיימות, כדי שתוכלו להבין מהי האופציה המתאימה ביותר לצרכים שלכם, תוך התחשבות בעלויות ובמורכבות הטכנית.

שירותים מקוונים

למה אני אוהב דווקא את Replicate

Fogerlog Replicate AI Flaw Enables Attackers To Access Customer Data

Replicate

Replicate הוא API בענן המאפשר למשתמשים להריץ בקלות ובמהירות מודלים של למידת מכונה בקוד פתוח באמצעות מספר שורות קוד בלבד. הוא מספק דרך פשוטה להריץ ולפרוס מודלים מבלי צורך בידע מעמיק בלמידת מכונה.
התכונות העיקריות של Replicate כוללות:

מאגר עצום של אלפי מודלים מוכנים לשימוש
יכולת לפרוס מודלים מותאמים אישית באמצעות הכלי Cog בקוד פתוח
יצירת API אוטומטי ויכולת הסקלה
תמחור לפי שנייה, כך שמשלמים רק על המשאבים שבהם נעשה שימוש

Replicate מארח מודלים פופולריים רבים כולל מודלים ליצירת תמונות כמו FLUX, מודלים לשחזור תמונות, מודלים לטקסט לדיבור ועוד. משתמשים יכולים לחקור ולהשתמש במודלים אלו באופן מיידי.
Replicate מציע תקופת ניסיון חינמית, שלאחריה יש צורך להזין כרטיס אשראי ולשלם על בסיס השימוש. תחזיות מחויבות לפי שנייה, כאשר העלות לשנייה משתנה בהתאם לחומרה שבה נעשה שימוש.
עלויות טיפוסיות נעות בטווח של 1-2 סנט ליצירת תמונה, ויכולות להצטבר לכמה דולרים בחודש עבור משתמשים כבדים שמייצרים מאות תמונות. עם זאת, ניתן להגדיר מגבלות הוצאה כדי לשלוט בעלויות.
Replicate מספק תנאי שימוש מפורטים המסדירים את השימוש בפלטפורמה, רכישות, מנויים, קניין רוחני ועוד. בנוסף, קיימת תיעוד קפדני וקהילה פעילה לתמיכה.

לסיכום, Replicate.com נראה כפלטפורמה עוצמתית אך נגישה להרצת מודלים בקוד פתוח של למידת מכונה ולפריסת מודלים מותאמים אישית. למרות שהיא אינה חינמית, התמחור נראה סביר לאור היכולות שמסופקות, במיוחד עם האפשרות להגדיר מגבלות הוצאה. הפלטפורמה עשויה להיות כלי רב ערך למדעני נתונים, מפתחים ואף משתמשים שאינם טכניים המחפשים לנצל את למידת המכונה

Astria

אודות Astria

Astria היא פלטפורמה מתקדמת המתמחה באימון מודלים של Flux, ומציעה פתרון נוח ויעיל ליצירת לורות (LoRA) מותאמות אישית[].

מחירים ועלויות

אימון Flux עולה $5.00 לכל 1,000 צעדים
יצירת תמונות עולה $0.23 ל-8 תמונות
ברירת המחדל היא 100 צעדים לכל תמונת אימון

תהליך העבודה

הרשמה פשוטה לאתר
העלאת דאטה-סט של כ-30 תמונות
הגדרת סוג המודל (LoRA) ובחירת מודל הבסיס (למשל Flux Dev)
קביעת מספר צעדי האימון (לדוגמה 3,000 צעדים)

יתרונות הפלטפורמה

ממשק משתמש ידידותי
תוצאות איכותיות במיוחד
אפשרות להורדת המודל המאומן לשימוש מקומי
תמיכה בסגנונות שונים כולל דמויות, חיות ושפה גרפית

הגבלות ותנאים

תמונות עירום אסורות
המודלים נשמרים למשך 30 יום
אחסון מודל מורחב עולה $0.50 לחודש למודל
מינימום לעיבוד כרטיס אשראי הוא $5.00[2]

Civitai

מהו מאמן LoRA של Civitai? אימון מודלים של LoRA הוא עסק מורכב! יש את הסקריפטים הנדרשים, התלויות; Python, Torch 2.0, כל המונחים המורכבים, וכשכבר תופסים את זה, יש את הדרישות הכבדות של החומרה! ניתן לאמן מודלים של Stable Diffusion 1.5 עם כמות יחסית נמוכה של VRAM (זיכרון כרטיס גרפי), אבל עבור אימון SDXL תצטרך יותר ממה שרוב האנשים יכולים לספק!

עקפנו את כל הבעיות הללו על ידי יצירת מאמן LoRA מבוסס-רשת!

אנחנו רוצים שהאימון של LoRA יהיה נגיש ככל האפשר, ולכן עשינו את המאמן פשוט ככל שיכולנו עבור משתמשים חדשים שאולי מעולם לא אימנו שום דבר, אבל גם כלול אפשרויות מתקדמות למשתמשים מנוסים.

המאמן עדיין בשלב בטא, יש הרבה שינויים שצריך לעשות ותכונות שצריך להוסיף, אבל הרכיבים והפונקציונליות המרכזיים קיימים, ואנחנו מתרגשים לתת לכם להתחיל להשתמש בזה!

המדריך הזה יעודכן ויורחב עם הזמן! #נלקח מהאתר של Civitai

הכנת מאגר הנתונים

אסוף 20-30 תמונות באיכות גבוהה הקשורות למושג או לסגנון שברצונך לאמן. השתדל להשתמש בתמונות ברזולוציה של כ-512x512 פיקסלים.
ודא שיש מגוון מסוים בתמונות, אך שמור אותן ממוקדות על המושג המרכזי.
כתוב כיתובים בשפה טבעית עבור כל תמונה, כאילו היית כותב פקודה ל-Flux ליצירת התמונה. הימנע משימוש בתגיות מופרדות בפסיקים כמו בכיתובי Danbooru.
הוסף לתמונות הרגילות גם תמונות רגולריזציה כדי למנוע התאמת יתר. תמונות אלו צריכות להיות כאלה שהמודל הבסיסי ייצר בדרך כלל עבור הכיתובים שכתבת.
ארוז את כל התמונות וקובצי הכיתוב לקובץ zip.

אימון על Civitai

עבור לדף האימון של LoRA ב-Civitai: https://civitai.com/models/train
בחר באפשרות "Engines" ובחר "X-Flux".
העלה את קובץ ה-zip המכיל את התמונות והכיתובים.
הגדר את פרמטרי האימון:

שלבים: 1000
אפוקים (epochs): 1
רזולוציה: 512x512
קצב למידה, גודל מחזור: השתמש בברירות המחדל

בחר שם עבור ה-LoRA שלך והתחל את תהליך האימון.
האימון אמור לקחת כ-1-2 שעות בהתאם לעומס התור. תקבל הודעה כאשר האימון יושלם.

טיפים לתוצאות מיטביות

השתמש במילת מפתח נדירה בכיתובים שלך כדי להקל על יצירת פקודות מאוחר יותר.
יותר שלבי אימון לא בהכרח משפרים את התוצאות. 1000-2000 שלבים נראים אופטימליים ברוב המקרים.
מאגרי נתונים גדולים מ-20-30 תמונות עשויים להפחית את הגמישות ביצירת הפקודות, אז כדאי להתחיל קטן.
אם אתה מאמן סגנון, ייתכן שתצטרך יותר מ-30 תמונות. נסה וראה מה עובד בצורה הטובה ביותר.

בעזרת ה-LoRA המאומן, תוכל ליצור תמונות בסגנון או במושג שאימנת עליו על ידי הכללת מילת המפתח בפקודות שלך. בהצלחה באימון!

Civitai מציעים אימון לורה בעלות של 2000 "באז" (המטבע הפנימי שלהם), שזה בערך 2.50 דולר לכל לורה.
כדי להגיע לתוצאות טובות, מומלץ להשתמש בכ-20 תמונות מגוונות, לבצע 10 חזרות ולהתאים את מספר ה-epochs לכ-1000 צעדים.
עם זאת, חלק מהמשתמשים דיווחו על תוצאות לא עקביות, כאשר התמונות המתקבלות לא תמיד תואמות לתמונות הבסיסיות, גם בשימוש באוטו-תגים.

Fal.ai

Fal.ai נותנים תוצאות טובות יותר לאימון לורה מאשר Replicate, לפי בדיקה של משתמש מסוים, למרות ש-Replicate זולים פי שניים.
השירות מאפשר הורדה של מודל הלורה המאומן.

אימון מקומי

Kohya-ss

אפשרות פופולרית לאימון לורה מקומי, עם מחברת Colab פשוטה שנקראת "Lora Trainer".
השירות מציע אפשרויות רבות להתאמה כמו קצב לימוד, דירוג, גודל מיני-מכולה ועוד.
ניתן לאמן לורות איכותיות, אך ייתכן שתידרש ניסוי וטעייה כדי למצוא את ההגדרות האופטימליות.

Ai-Toolkit

פתרון נוסף מוביל לאימון לורה מקומי, שנחשב שווה ערך ל-Kohya-ss.
המערכת משנה אוטומטית את גודל התמונות ומחלקת אותן למיני-מכולות לצורך האימון.
מתפקד היטב על מערכות Windows עם כרטיסי גרפיקה כמו RTX 4090 עם 24GB VRAM.

טיפים להשגת תוצאות מיטביות

השתמשו ב-15 עד 50 תמונות איכותיות ומגוונות של הנושא.
1000 עד 3000 צעדי אימון מספיקים לרוב לאימון דמויות ואנשים.
כתבו כיתובים תיאוריים לכל תמונה, תוך דגש על מאפיינים מרכזיים.
נסו לערוך ניסויים עם קצבי לימוד שונים, ערכי דירוג (rank) ומספרי epochs.
לאמן את המודל הבסיסי שעליו תשתמשו בלורה לקבלת התוצאות הטובות ביותר.

לסיכום, השירותים המקוונים כמו Civitai, Replicate ו-fal.ai מציעים אפשרויות אימון נוחות, בעוד Kohya-ss ו-Ai-Toolkit מציעים פתרונות מתקדמים לאימון מקומי. הבחירה בין האופציות תלויה בצרכים הספציפיים שלכם, התקציב ורמת הנוחות שלכם עם הכלים הטכניים. הקפדה על שיטות עבודה מומלצות כמו גודל ואיכות מאגר התמונות, כיתוב לתמונות והתאמת פרמטרים יכולה לשפר באופן משמעותי את המודל הסופי.

באתר גיז ניתן למצוא מדריך נרחב על סגנונות של מודל פלאקס.