חזרה לאינטגרציות
⚙️
Local
Text Generation WebUI
Text Generation WebUI (מאת oobabooga) הוא הממשק בקוד פתוח המקיף ביותר להרצת מודלי שפה מקומית. הוא תומך בפורמטים רבים של מודלים (GGUF, GPTQ, AWQ, EXL2 ואחרים), בשרתים עורפיים שונים (llama.cpp, ExLlamaV2, TGI) ובהרחבות, ובכללן מערכת דמויות ומשחקי תפקידים, מצב מחברת ו-API תואם OpenAI. זהו הכלי הראשון במעלה עבור משתמשים מתקדמים וחוקרים שרוצים שליטה מרבית בהגדרה המקומית.
נסו את הסוכנים שלנו → github.com/oobabooga/text-generation-webui
תכונות ויכולות
שרתים עורפיים מרובים (llama.cpp
ExLlamaV2)
פורמטים רבים של מודלים (GGUF
GPTQ
AWQ)
API תואם OpenAI
הרחבות ותוספים
מצב דמויות ומשחקי תפקידים
מצב מחברת
ממשק אימון
🎯 מתאים במיוחד למשתמשים מתקדמים, לחוקרים ולמפתחים שרוצים שליטה מרבית בהסקת מודלי שפה מקומית.
✓ יתרונות
- גמישות מרבית
- ספריית הרחבות ענקית
- כל פורמטי המודלים
- קהילה פעילה
- יכולות ברמת מחקר
✗ חסרונות
- –התקנה מורכבת
- –ההגדרה בעיקר בשורת פקודה
- –לא למתחילים
- –צריכת משאבים גבוהה
- –שינויים שוברים תכופים
💰 תמחור
חינמי וקוד פתוח. משלמים רק על החומרה.