Späť na integrácie
⚡
Cloud
Groq
Groq je poskytovateľ cloudovej inferencie, ktorý spúšťa rozšírené open source modely (Llama, Mixtral, Gemma, Whisper a ďalšie) na vlastnom hardvéri LPU (Language Processing Unit). Výsledkom sú rýchlosti inferencie často 10- až 100-krát vyššie než u poskytovateľov na GPU, čo sa hodí pre aplikácie citlivé na oneskorenie.
Vyskúšajte našich agentov → groq.com
Funkcie a schopnosti
Extrémna rýchlosť inferencie
Hardvér LPU
Podpora Llama 3 / Mixtral / Gemma
Nízke oneskorenie
API kompatibilné s OpenAI
Prepis zvuku (Whisper)
🎯 Najlepšie pre agentov s nízkym oneskorením, chatboty v reálnom čase a aplikácie, kde je rýchlosť odpovede rozhodujúca.
✓ Výhody
- Najrýchlejšia dostupná inferencia
- Bezplatná úroveň
- Kompatibilné s OpenAI
- Viac modelov
- Skvelé pre chat v reálnom čase
✗ Nevýhody
- –Žiadne vlastné modely
- –Obmedzené kontextové okno
- –Limity v bezplatnej úrovni
- –Závislé od dostupnosti Groq
💰 Cenník
Štedrá bezplatná úroveň. Platené plány od približne 0,05 $ za milión tokenov podľa modelu. Pozri groq.com.