Text Generation WebUI
Text Generation WebUI (autor oobabooga) najsveobuhvatnije je sučelje otvorenog koda za lokalno pokretanje jezičnih modela. Podržava brojne formate modela (GGUF, GPTQ, AWQ, EXL2 i druge), različite pozadinske sustave (llama.cpp, ExLlamaV2, TGI) i proširenja, uključujući sustav likova i igranja uloga, način rada bilježnice i API kompatibilan s OpenAI-jem. To je alat prvog izbora za napredne korisnike i istraživače koji žele najveći nadzor nad lokalnom postavom.
Značajke i mogućnosti
🎯 Najbolje za napredne korisnike, istraživače i razvojne programere koji žele najveći nadzor nad lokalnim LLM zaključivanjem.
✓ Prednosti
- Najveća fleksibilnost
- Golema knjižnica proširenja
- Svi formati modela
- Aktivna zajednica
- Mogućnosti na istraživačkoj razini
✗ Nedostaci
- –Složena instalacija
- –Postavljanje uglavnom iz naredbenog retka
- –Nije za početnike
- –Velika potrošnja resursa
- –Česte nekompatibilne promjene
💰 Cijene
Besplatno i otvorenog koda. Plaćate samo hardver.
Kompatibilni agenti
Ostale integracije
Ollama
Pokrenite open-source AI modele lokalno. Potpuna privatnost i kontrola.
LM Studio
Aplikacija za stolna računala za pronalaženje, preuzimanje i pokretanje lokalnih LLM-ova — dotjerano sučelje, bez programiranja.
AnythingLLM
Svestrana AI aplikacija s RAG-om, agentima i podrškom za više korisnika — radi s lokalnim i oblačnim LLM-ovima.