Tilbage til butik
llama.cpp
Developmentv1.0.0Grundlæggende C/C++-runtime til lokale LLM'er, brugt af mange værktøjer til GGUF.
Ingen omkostninger at brugeFree
Platform / OS
⌘macOS▣Windows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
Eksternt projekt · gratis link · sælges ikke af AILoft
llama.cpp er det grundlæggende projekt til lokal inference af LLaMA-lignende modeller og GGUF-modeller på CPU'er, GPU'er og Apple Silicon. Mange skrivebordsværktøjer, servere og wrappere bygger på det takket være portabiliteten, hastigheden og den brede understøttelse. Mere en runtime til udviklere end en færdig app, men central i det lokale AI-økosystem.