Tillbaka till integrationer

⚡

Cloud

Groq

Groq är en molnleverantör av inferens som kör spridda öppna modeller (Llama, Mixtral, Gemma, Whisper med flera) på egen LPU-hårdvara (Language Processing Unit). Resultatet är inferenshastigheter som ofta är 10 till 100 gånger högre än hos GPU-baserade leverantörer, vilket passar tillämpningar som är känsliga för fördröjning.

Prova vAra agenter → groq.com

Funktioner och fOrmAgor

Extrem inferenshastighet

LPU-hårdvara

Stöd för Llama 3 / Mixtral / Gemma

Låg fördröjning

API kompatibelt med OpenAI

Ljudtranskribering (Whisper)

🎯 Bäst för agenter med låg fördröjning, chattbottar i realtid och tillämpningar där svarshastigheten är avgörande.

✓ Fordelar

Snabbaste inferensen som finns
Gratisnivå
Kompatibelt med OpenAI
Flera modeller
Utmärkt för chatt i realtid

✗ Nackdelar

–Inga egna modeller
–Begränsat kontextfönster
–Användningsgränser på gratisnivån
–Beroende av Groqs tillgänglighet

💰 Priser

Generös gratisnivå. Betalplaner från cirka 0,05 $ per miljon tokens beroende på modell. Se groq.com.

Kompatibla agenter

🤖 WebChat Agent 🤖 CodeReview Pro 🤖 TranslatorPro

Andra integrationer

Together AI

Molnplattform för att köra och finjustera öppna AI-modeller i stor skala.

Fireworks AI

Snabb inferensplattform för öppna modeller, byggd för produktionslast.

DeepSeek

AI med Oppen kallkod och exceptionell kodning och resonemang till lagre kostnad.

Prova vAra agenter

Utforska agenter →