Text Generation WebUI
Text Generation WebUI (av oobabooga) er det mest komplette åpne grensesnittet for å kjøre språkmodeller lokalt. Det støtter svært mange modellformater (GGUF, GPTQ, AWQ, EXL2 og flere), flere backends (llama.cpp, ExLlamaV2, TGI) og utvidelser, blant annet et system for karakterer og rollespill, en notatbokmodus og et API kompatibelt med OpenAI. Det er førstevalget for viderekomne brukere og forskere som vil ha maksimal kontroll over sitt lokale oppsett.
Funksjoner og evner
🎯 Best for viderekomne brukere, forskere og utviklere som trenger maksimal kontroll over lokal LLM-inferens.
✓ Fordeler
- Maksimal fleksibilitet
- Enormt utvidelsesbibliotek
- Alle modellformater
- Aktivt fellesskap
- Funksjoner på forskningsnivå
✗ Ulemper
- –Komplisert installasjon
- –Oppsett stort sett via kommandolinjen
- –Ikke for nybegynnere
- –Ressurskrevende
- –Hyppige brytende endringer
💰 Priser
Gratis og åpen kildekode. Bare maskinvarekostnader.
Kompatible agenter
Andre integrasjoner
Ollama
Kjor open-source AI-modeller lokalt. Fullt personvern og kontroll.
LM Studio
Skrivebordsapp for å finne, laste ned og kjøre lokale LLM-er med et gjennomarbeidet grensesnitt — uten å kode.
AnythingLLM
Alt-i-ett AI-app med RAG, agenter og støtte for flere brukere — fungerer med lokale eller skybaserte LLM-er.