llama.cpp

llama.cpp เป็นโครงการอนุมานในเครื่องอันเป็นรากฐานสำหรับโมเดลตระกูล LLaMA และ GGUF บน CPU, GPU และ Apple Silicon เครื่องมือเดสก์ท็อป เซิร์ฟเวอร์ และแรปเปอร์จำนวนมากสร้างต่อจากโครงการนี้ ด้วยความพกพาสะดวก ความเร็ว และการรองรับที่กว้าง เป็นรันไทม์สำหรับนักพัฒนามากกว่าจะเป็นแอปสำเร็จรูป แต่ก็เป็นกุญแจสำคัญของระบบนิเวศ AI ในเครื่อง