Tillbaka till butiken
llama.cpp
Developmentv1.0.0Grundläggande C/C++-runtime för lokala LLM:er, använd av många verktyg för GGUF.
Ingen kostnad att användaFree
Plattform / OS
⌘macOS▣Windows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
Externt projekt · gratis länk · säljs inte av AILoft
llama.cpp är det grundläggande projektet för lokal inference av LLaMA-liknande modeller och GGUF-modeller på CPU:er, GPU:er och Apple Silicon. Många skrivbordsverktyg, servrar och wrappers bygger på det tack vare portabiliteten, hastigheten och det breda stödet. Mer en runtime för utvecklare än en färdig app, men central i det lokala AI-ekosystemet.