llama.cpp — фундаментальный проект локального инференса для моделей семейства LLaMA и формата GGUF на CPU, GPU и Apple Silicon. Множество настольных инструментов, серверов и обёрток строятся на нём благодаря портируемости, скорости и широкой поддержке. Это скорее runtime для разработчиков, чем готовое приложение, но для экосистемы локального ИИ он ключевой.