Vissza az Áruházba
llama.cpp
Developmentv1.0.0Alapvető C/C++ helyi LLM futtatókörnyezet, amelyet sok eszköz használ GGUF modellekhez.
Nincs használat költségeFree
Platform / OS
⌘macOS▣Windows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
Külső projekt · ingyenes hivatkozás · nem az AILoft árulja
A llama.cpp az alapvető helyi következtetési projekt LLaMA-szerű és GGUF modellekhez, CPU-n, GPU-n és Apple Siliconon. Sok asztali eszköz, szerver és wrapper épül rá hordozhatósága, sebessége és széles támogatása miatt. Inkább fejlesztői futtatókörnyezet, mint kész alkalmazás, de kulcsfontosságú a helyi AI ökoszisztémában.