Naar hoofdinhoud
Terug naar winkel

llama.cpp

Developmentv1.0.0

Fundamentele C/C++-runtime voor lokale LLM's, door veel tools gebruikt voor GGUF.

Geen kosten voor gebruikFree

Platform / OS

macOSWindows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
Extern project · gratis link · niet verkocht door AILoft

llama.cpp is het fundamentele project voor lokale inference van LLaMA-achtige en GGUF-modellen op CPU's, GPU's en Apple Silicon. Veel desktoptools, servers en wrappers bouwen erop voort vanwege de portabiliteit, snelheid en brede ondersteuning. Meer een runtime voor ontwikkelaars dan een afgewerkte app, maar centraal in het lokale AI-ecosysteem.