llama.cpp е основополагащият проект за локален инференс за модели от типа LLaMA и GGUF, на CPU, GPU и Apple Silicon. Много десктоп инструменти, сървъри и обвивки се изграждат върху него заради преносимостта, скоростта и широката поддръжка. По-скоро е runtime за разработчици, отколкото завършено приложение, но е ключов за локалната ИИ екосистема.