Tilbake til butikken

llama.cpp

Name: llama.cpp
Author: AILoft

Developmentv1.0.0

Grunnleggende C/C++-runtime for lokale LLM-er, brukt av mange verktøy for GGUF.

Ingen kostnad å brukeFree

Åpne

Plattform / OS

⌘macOS▣Windows🐧Linux

macoswindowslinux

#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference

Eksternt prosjekt · gratis lenke · ikke solgt av AILoft

llama.cpp er det grunnleggende prosjektet for lokal inference av LLaMA-liknende modeller og GGUF-modeller på CPU-er, GPU-er og Apple Silicon. Mange skrivebordsverktøy, servere og wrappere bygger på det takket være portabiliteten, hastigheten og den brede støtten. Mer en runtime for utviklere enn en ferdig app, men sentral i det lokale AI-økosystemet.