Naar hoofdinhoud
Terug naar integraties
Cloud

Groq

Groq is een aanbieder van inferentie in de cloud die veelgebruikte opensourcemodellen (Llama, Mixtral, Gemma, Whisper en meer) op eigen LPU-hardware (Language Processing Unit) draait. Het resultaat zijn inferentiesnelheden die vaak 10 tot 100 keer hoger liggen dan bij aanbieders op GPU’s, ideaal voor toepassingen die gevoelig zijn voor vertraging.

Functies en mogelijkheden

Extreme inferentiesnelheid
LPU-hardware
Ondersteuning voor Llama 3 / Mixtral / Gemma
Lage vertraging
API compatibel met OpenAI
Audiotranscriptie (Whisper)

🎯 Het best voor agents met lage vertraging, chatbots in realtime en toepassingen waar de snelheid van het antwoord doorslaggevend is.

Voordelen

  • De snelste inferentie die er is
  • Gratis niveau
  • Compatibel met OpenAI
  • Meerdere modellen
  • Uitstekend voor chat in realtime

Nadelen

  • Geen eigen modellen
  • Beperkt contextvenster
  • Gebruikslimieten op het gratis niveau
  • Afhankelijk van de beschikbaarheid van Groq

💰 Prijzen

Royaal gratis niveau. Betaalde plannen vanaf ongeveer $ 0,05 per miljoen tokens, afhankelijk van het model. Zie groq.com.

Probeer onze agenten

Agenten verkennen