llama.cpp

llama.cpp는 LLaMA 계열과 GGUF 모델을 CPU와 GPU, Apple Silicon에서 돌리기 위한 근간이 되는 로컬 추론 프로젝트입니다. 이식성과 속도, 폭넓은 지원 덕분에 많은 데스크톱 도구와 서버, 래퍼가 그 위에 만들어졌습니다. 완성된 앱이라기보다 개발자용 런타임이지만 로컬 AI 생태계에는 핵심입니다.