Tilbage til integrationer
⚡
Cloud
Groq
Groq er en cloududbyder af inferens, der kører udbredte åbne modeller (Llama, Mixtral, Gemma, Whisper med flere) på egen LPU-hardware (Language Processing Unit). Resultatet er inferenshastigheder, der ofte er 10 til 100 gange højere end hos GPU-baserede udbydere, hvilket passer til anvendelser, der er følsomme over for forsinkelse.
Prov vores agenter → groq.com
Funktioner og muligheder
Ekstrem inferenshastighed
LPU-hardware
Understøttelse af Llama 3 / Mixtral / Gemma
Lav forsinkelse
API kompatibelt med OpenAI
Lydtransskription (Whisper)
🎯 Bedst til agenter med lav forsinkelse, chatbots i realtid og anvendelser, hvor svarhastigheden er afgørende.
✓ Fordele
- Den hurtigste inferens
- der findes
- Gratisniveau
- Kompatibelt med OpenAI
- Flere modeller
- Fremragende til chat i realtid
✗ Ulemper
- –Ingen egne modeller
- –Begrænset kontekstvindue
- –Brugsgrænser på gratisniveauet
- –Afhængig af Groqs oppetid
💰 Priser
Rundhåndet gratisniveau. Betalte planer fra omkring 0,05 $ pr. million tokens afhængigt af model. Se groq.com.