Înapoi la Magazin

llama.cpp

Name: llama.cpp
Author: AILoft

Developmentv1.0.0

Runtime LLM local, fundamental, în C/C++, folosit de multe instrumente pentru modele GGUF.

Fără costuri de utilizareFree

Deschideți

Platformă / OS

⌘macOS▣Windows🐧Linux

macoswindowslinux

#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference

Proiect extern · link gratuit · nu este vândut de AILoft

llama.cpp este proiectul fundamental de inferență locală pentru modele de tip LLaMA și GGUF, pe CPU, GPU și Apple Silicon. Multe instrumente desktop, servere și wrappere se construiesc pe el datorită portabilității, vitezei și suportului larg. Este mai degrabă un runtime pentru dezvoltatori decât o aplicație finită, dar este esențial pentru ecosistemul AI local.