Natrag u trgovinu
llama.cpp
Developmentv1.0.0Temeljni lokalni C/C++ LLM runtime koji mnogi alati koriste za GGUF modele.
Bez troškova za korištenjeFree
Platforma / OS
⌘macOS▣Windows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
Vanjski projekt · besplatna poveznica · ne prodaje ga AILoft
llama.cpp je temeljni projekt lokalnog zaključivanja za modele nalik LLaMA-i i GGUF modele, na CPU-ima, GPU-ima i Apple Siliconu. Mnogi desktop alati, poslužitelji i omotači grade se na njemu zbog prenosivosti, brzine i široke podrške. Više je runtime za programere nego gotova aplikacija, ali je ključan za lokalni AI ekosustav.