Tilbake til integrasjoner
⚡
Cloud
Groq
Groq er en skyleverandør av inferens som kjører utbredte åpne modeller (Llama, Mixtral, Gemma, Whisper og flere) på egen LPU-maskinvare (Language Processing Unit). Resultatet er inferenshastigheter som ofte er 10 til 100 ganger høyere enn hos GPU-baserte leverandører, ideelt for bruk som er følsomt for forsinkelse.
Prov agentene vare → groq.com
Funksjoner og evner
Ekstrem inferenshastighet
LPU-maskinvare
Støtte for Llama 3 / Mixtral / Gemma
Lav forsinkelse
API kompatibelt med OpenAI
Lydtranskripsjon (Whisper)
🎯 Best for agenter med lav forsinkelse, chatboter i sanntid og bruk der svarhastigheten er avgjørende.
✓ Fordeler
- Den raskeste inferensen som finnes
- Gratisnivå
- Kompatibelt med OpenAI
- Flere modeller
- Ypperlig for chat i sanntid
✗ Ulemper
- –Ingen egne modeller
- –Begrenset kontekstvindu
- –Bruksgrenser på gratisnivået
- –Avhengig av Groqs oppetid
💰 Priser
Raust gratisnivå. Betalte planer fra rundt 0,05 $ per million tokens, avhengig av modell. Se groq.com.