llama.cpp — фундаментальний проєкт локального інференсу для моделей родини LLaMA та формату GGUF на CPU, GPU і Apple Silicon. Безліч настільних інструментів, серверів і обгорток будуються на ньому завдяки портованості, швидкості та широкій підтримці. Це радше runtime для розробників, ніж готовий застосунок, але для екосистеми локального ШІ він ключовий.