Text Generation WebUI
Text Generation WebUI (tác giả oobabooga) là giao diện mã nguồn mở toàn diện nhất để chạy mô hình ngôn ngữ cục bộ. Nó hỗ trợ nhiều định dạng mô hình (GGUF, GPTQ, AWQ, EXL2 và các định dạng khác), nhiều phần phụ trợ (llama.cpp, ExLlamaV2, TGI) cùng các tiện ích mở rộng, bao gồm hệ thống nhân vật và nhập vai, chế độ sổ tay và API tương thích OpenAI. Đây là công cụ hàng đầu cho người dùng nâng cao và nhà nghiên cứu muốn kiểm soát tối đa cấu hình cục bộ.
Tính năng & Khả năng
🎯 Phù hợp nhất cho người dùng nâng cao, nhà nghiên cứu và lập trình viên muốn kiểm soát tối đa việc suy luận LLM cục bộ.
✓ Ưu điểm
- Linh hoạt tối đa
- Thư viện tiện ích mở rộng khổng lồ
- Mọi định dạng mô hình
- Cộng đồng năng động
- Khả năng ở cấp nghiên cứu
✗ Nhược điểm
- –Cài đặt phức tạp
- –Cấu hình chủ yếu qua dòng lệnh
- –Không dành cho người mới
- –Tiêu tốn nhiều tài nguyên
- –Thay đổi gây phá vỡ tương thích khá thường xuyên
💰 Bảng giá
Miễn phí và mã nguồn mở. Bạn chỉ trả tiền cho phần cứng.
Tác nhân tương thích
Tích hợp khác
Ollama
Chạy mô hình AI mã nguồn mở cục bộ. Quyền riêng tư và kiểm soát hoàn toàn.
LM Studio
Ứng dụng máy tính để tìm, tải và chạy LLM cục bộ — giao diện trau chuốt, không cần lập trình.
AnythingLLM
Ứng dụng AI đa năng với RAG, tác nhân và hỗ trợ nhiều người dùng — hoạt động với cả LLM cục bộ lẫn đám mây.