Mağazaya Geri Dön

llama.cpp

Name: llama.cpp
Author: AILoft

Developmentv1.0.0

Birçok aracın GGUF modelleri için dayandığı temel C/C++ yerel LLM çalışma zamanı.

Kullanım maliyeti yokFree

Aç

Platform / OS

⌘macOS▣Windows🐧Linux

macoswindowslinux

#ai-software#free-ai-software#local-ai#llm-runtime#gguf#inference

Harici proje · ücretsiz bağlantı · AILoft satmıyor

llama.cpp, LLaMA benzeri ve GGUF modellerini CPU, GPU ve Apple Silicon üzerinde çalıştırmaya yarayan temel yerel çıkarım projesidir. Taşınabilirliği, hızı ve geniş desteği sayesinde pek çok masaüstü aracı, sunucu ve sarmalayıcı onun üzerine kurulmuştur. Bitmiş bir uygulamadan çok geliştirici çalışma zamanıdır, ama yerel yapay zeka ekosistemi için can alıcıdır.