Назад до інтеграцій
⚡
Cloud
Groq
Groq — хмарний постачальник інференсу, який запускає поширені відкриті моделі (Llama, Mixtral, Gemma, Whisper та інші) на власному обладнанні LPU (Language Processing Unit). Швидкість інференсу часто в 10-100 разів вища, ніж у постачальників на GPU, що пасує застосункам, чутливим до затримки.
Спробуйте наших агентів → groq.com
Функції та можливості
Гранична швидкість інференсу
Обладнання LPU
Підтримка Llama 3 / Mixtral / Gemma
Низька затримка
API
сумісний з OpenAI
Розшифрування аудіо (Whisper)
🎯 Найкраще для агентів із низькою затримкою, чат-ботів у реальному часі та застосунків, де вирішує швидкість відповіді.
✓ Переваги
- Найшвидший доступний інференс
- Безкоштовний рівень
- Сумісно з OpenAI
- Кілька моделей
- Чудово для чату в реальному часі
✗ Недоліки
- –Немає власних моделей
- –Обмежене контекстне вікно
- –Ліміти на безкоштовному рівні
- –Залежить від доступності Groq
💰 Ціни
Щедрий безкоштовний рівень. Платні плани від приблизно 0,05 $ за мільйон токенів залежно від моделі. Див. groq.com.