Zurück zum Store

llama.cpp

Name: llama.cpp
Author: AILoft

Developmentv1.0.0

Grundlegende C/C++-Runtime für lokale LLMs, von vielen Tools für GGUF genutzt.

Keine Kosten für die NutzungFree

Öffnen

Plattform / OS

⌘macOS▣Windows🐧Linux

macoswindowslinux

#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference

Externes Projekt · kostenloser Link · nicht von AILoft verkauft

llama.cpp ist das grundlegende Projekt für lokale Inference von LLaMA-artigen und GGUF-Modellen auf CPUs, GPUs und Apple Silicon. Viele Desktop-Tools, Server und Wrapper bauen darauf auf – dank Portabilität, Geschwindigkeit und breiter Unterstützung. Eher eine Entwickler-Runtime als eine fertige App, aber zentral für das lokale KI-Ökosystem.