Text Generation WebUI
A Text Generation WebUI (szerzője oobabooga) a legátfogóbb nyílt forráskódú felület nyelvi modellek helyi futtatásához. Számos modellformátumot (GGUF, GPTQ, AWQ, EXL2 és mások), többféle háttérrendszert (llama.cpp, ExLlamaV2, TGI) és bővítményt támogat, köztük karakter- és szerepjáték-rendszert, jegyzetfüzet módot és OpenAI-kompatibilis API-t. Ez az első számú eszköz azoknak a haladó felhasználóknak és kutatóknak, akik a legnagyobb felügyeletet akarják a helyi beállítás fölött.
Funkciók és képességek
🎯 Leginkább haladó felhasználóknak, kutatóknak és fejlesztőknek való, akik a legnagyobb felügyeletet akarják a helyi LLM-következtetés fölött.
✓ Előnyök
- Legnagyobb rugalmasság
- Hatalmas bővítménykönyvtár
- Minden modellformátum
- Aktív közösség
- Kutatói szintű képességek
✗ Hátrányok
- –Összetett telepítés
- –A beállítás nagyrészt parancssorból
- –Nem kezdőknek való
- –Nagy erőforrásigény
- –Gyakori inkompatibilis változtatások
💰 Árazás
Ingyenes és nyílt forráskódú. Csak a hardverért fizet.
Kompatibilis ügynökök
Egyéb integrációk
Ollama
Futtasson nyílt forráskódú AI modelleket helyben. Teljes adatvédelem és kontroll.
LM Studio
Asztali alkalmazás helyi LLM-ek kereséséhez, letöltéséhez és futtatásához — kidolgozott felület, programozás nélkül.
AnythingLLM
Sokoldalú MI-alkalmazás RAG-gel, ügynökökkel és többfelhasználós támogatással — helyi és felhős LLM-ekkel is működik.