Text Generation WebUI
Text Generation WebUI (af oobabooga) er den mest komplette open source-grænseflade til at køre sprogmodeller lokalt. Den understøtter meget mange modelformater (GGUF, GPTQ, AWQ, EXL2 med flere), flere backends (llama.cpp, ExLlamaV2, TGI) og udvidelser, blandt andet et system til figurer og rollespil, en notesbogstilstand og et API kompatibelt med OpenAI. Det er førstevalget for øvede brugere og forskere, der vil have maksimal kontrol over deres lokale opsætning.
Funktioner og muligheder
🎯 Bedst til øvede brugere, forskere og udviklere, der har brug for maksimal kontrol over lokal LLM-inferens.
✓ Fordele
- Maksimal fleksibilitet
- Enormt udvidelsesbibliotek
- Alle modelformater
- Aktivt fællesskab
- Funktioner på forskningsniveau
✗ Ulemper
- –Kompliceret installation
- –Opsætning mest via kommandolinjen
- –Ikke for begyndere
- –Ressourcekrævende
- –Hyppige brydende ændringer
💰 Priser
Gratis og open source. Kun hardwareomkostninger.
Kompatible agenter
Andre integrationer
Ollama
Kor open-source AI-modeller lokalt. Fuld privatliv og kontrol.
LM Studio
Skrivebordsapp til at finde, hente og køre lokale LLM’er med en gennemarbejdet grænseflade — uden at kode.
AnythingLLM
Alt-i-én AI-app med RAG, agenter og understøttelse af flere brugere — virker med lokale eller skybaserede LLM’er.