स्टोर पर वापस जाएँ
llama.cpp
Developmentv1.0.0बुनियादी C/C++ लोकल LLM रनटाइम, जिस पर GGUF मॉडल के लिए कई उपकरण टिके हैं।
उपयोग करने की कोई लागत नहींFree
प्लेटफ़ॉर्म / OS
⌘macOS▣Windows🐧Linux
macoswindowslinux
#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference
बाहरी परियोजना · निःशुल्क लिंक · AILoft नहीं बेचता
llama.cpp, LLaMA जैसे और GGUF मॉडल को CPU, GPU और Apple Silicon पर चलाने की बुनियादी लोकल इन्फ़रेंस परियोजना है। पोर्टेबिलिटी, गति और व्यापक समर्थन के कारण कई डेस्कटॉप उपकरण, सर्वर और रैपर इसी पर बने हैं। यह तैयार ऐप से ज़्यादा डेवलपर रनटाइम है, पर लोकल AI इकोसिस्टम के लिए बेहद अहम है।