Text Generation WebUI
Text Generation WebUI (av oobabooga) är det mest kompletta öppna gränssnittet för att köra språkmodeller lokalt. Det stöder mängder av modellformat (GGUF, GPTQ, AWQ, EXL2 med flera), flera backends (llama.cpp, ExLlamaV2, TGI) och tillägg, däribland ett system för karaktärer och rollspel, ett anteckningsläge och ett API kompatibelt med OpenAI. Det är förstahandsvalet för avancerade användare och forskare som vill ha maximal kontroll över sin lokala uppsättning.
Funktioner och fOrmAgor
🎯 Bäst för avancerade användare, forskare och utvecklare som behöver maximal kontroll över lokal LLM-inferens.
✓ Fordelar
- Maximal flexibilitet
- Enormt tilläggsbibliotek
- Alla modellformat
- Aktiv gemenskap
- Funktioner på forskningsnivå
✗ Nackdelar
- –Komplicerad installation
- –Uppsättning mest via kommandoraden
- –Inget för nybörjare
- –Resurskrävande
- –Ofta brytande ändringar
💰 Priser
Gratis och öppen källkod. Endast hårdvarukostnader.
Kompatibla agenter
Andra integrationer
Ollama
Kor AI-modeller med Oppen kallkod lokalt. Full integritet och kontroll.
LM Studio
Skrivbordsapp för att hitta, hämta och köra lokala LLM:er med ett genomarbetat gränssnitt — utan att koda.
AnythingLLM
Allt-i-ett-app för AI med RAG, agenter och stöd för flera användare — fungerar med lokala eller molnbaserade LLM:er.