통합으로 돌아가기
⚡
Cloud
Groq
Groq는 널리 쓰이는 오픈 모델(Llama, Mixtral, Gemma, Whisper 등)을 자체 LPU(언어 처리 장치) 하드웨어에서 실행하는 클라우드 추론 제공업체입니다. 추론 속도가 GPU 기반 제공업체보다 10~100배 빠른 경우가 많아 지연에 민감한 애플리케이션에 적합합니다.
에이전트 체험하기 → groq.com
기능 및 성능
극한의 추론 속도
LPU 하드웨어
Llama 3 / Mixtral / Gemma 지원
낮은 지연
OpenAI 호환 API
오디오 전사(Whisper)
🎯 저지연 에이전트, 실시간 챗봇, 응답 속도가 관건인 애플리케이션에 가장 적합합니다.
✓ 장점
- 현존 가장 빠른 추론
- 무료 등급 제공
- OpenAI 호환
- 여러 모델 지원
- 실시간 채팅에 탁월
✗ 단점
- –자체 모델 없음
- –제한된 컨텍스트 창
- –무료 등급에 한도 있음
- –Groq 가용성에 의존
💰 가격
넉넉한 무료 등급. 유료 요금제는 모델에 따라 100만 토큰당 약 0.05달러부터. groq.com 참고.