Назад к интеграциям
⚡
Cloud
Groq
Groq — облачный провайдер инференса, который запускает распространённые открытые модели (Llama, Mixtral, Gemma, Whisper и другие) на собственном оборудовании LPU (Language Processing Unit). Скорость инференса часто в 10-100 раз выше, чем у провайдеров на GPU, что подходит для приложений, чувствительных к задержке.
Попробуйте наших агентов → groq.com
Функции и возможности
Предельная скорость инференса
Оборудование LPU
Поддержка Llama 3 / Mixtral / Gemma
Низкая задержка
API
совместимый с OpenAI
Расшифровка аудио (Whisper)
🎯 Лучше всего для агентов с низкой задержкой, чат-ботов в реальном времени и приложений, где решает скорость ответа.
✓ Преимущества
- Самый быстрый доступный инференс
- Бесплатный уровень
- Совместимо с OpenAI
- Несколько моделей
- Отлично для чата в реальном времени
✗ Недостатки
- –Нет собственных моделей
- –Ограниченное контекстное окно
- –Лимиты на бесплатном уровне
- –Зависит от доступности Groq
💰 Цены
Щедрый бесплатный уровень. Платные планы от примерно 0,05 $ за миллион токенов в зависимости от модели. См. groq.com.