Späť do obchodu
llama.cpp
Developmentv1.0.0Základný runtime C/C++ pre lokálne LLM, používaný mnohými nástrojmi pre GGUF.
Bez nákladov na používanieFree
Platforma / OS
⌘macOS▣Windows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
Externý projekt · odkaz zadarmo · AILoft nepredáva
llama.cpp je základný projekt lokálnej inference pre modely typu LLaMA a GGUF na CPU, GPU a Apple Silicon. Mnoho desktopových nástrojov, serverov a wrapperov naň stavia vďaka prenositeľnosti, rýchlosti a širokej podpore. Je to skôr runtime pre vývojárov než hotová aplikácia, no pre lokálny ekosystém AI je kľúčový.