전용 배포: GPU 커널에 맞춰 튜닝한, 고객의 모델
직접 가져온 가중치 또는 원하는 Hugging Face 모델을 전용 엔드포인트로 가져오세요. GPU 시간당 과금됩니다.
╔══ ═══════════════╗ your endpoint ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ░░ ░░░▓░░░▓░░░▓░░░▓░░░▓░ weights ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ───┐ a model we list ║ ║ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ├ ▶ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠═ ▶ ──────┤ your weights ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ │ ║ ║ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ──────┘ Hugging Face kernels ▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ║ ║ ████████████████████████████████ ║ ║ hardware ██ ████████████████████ ║ ║ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ║ ║ tune → measure → ship ╚══ ═══════╝
─────┐ a model we list ────────┤ your weights ────────┤ Hugging Face ▼ ╔══ ═══════════════╗ your endpoint ▓░ ░▓░░░▓░░░▓░░░▓░░░▓░░░ weights ║ ║ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ ║ ║ ║ ║ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠ ▶ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ║ ║ kernels ▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ║ ║ hardware ██ ████████████████████ ║ ║ tune → measure → ship ╚══ ═══════╝
모든 Hugging Face 모델
튜닝하고, 배포하고, GPU를 끝까지 짜냅니다
목표는, 고객의 모델을 가장 빠르고 가장 저렴하게 서빙하는 방법입니다.
┌─ ────────┐ ┌─ ────────────┐ ┌─ ─────────┐ org/name tune squeeze ┌─ deploy ──────────┐ │ ├─┐ │ │ │ │ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ GPU ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ░░▓░░░▓░░░▓░░░▓░░ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ ├─── │ ├─── │ ├─── ▶ ▶ ▶ tokens │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ ├───▶ │ │ │ │ │ │ │ ───────────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ──────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ ┤ └──┴──┴──┴──┴──┴── ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ └─┬─────────────────┘ │ │ │ │ │ │ │ └───────────────────┘ └───────────────────┘ └───────────────────┘ └───────────────────┘
┌─ ───────────────────────────┐ org/name │ ├─┐ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ │ │ │ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ └─┬────────────────────────────────────┘ │ └─────────────────┬────────────────────┘ ▼ ┌─ ─────────────────────────────────┐ tune │ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ └───────────────────┬────────────────────┘ ▼ ┌─ deploy ───────────────────────────────┐ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │└───────────────────┬────────────────────┘ ▼ ┌─ ──────────────────────────────┐ squeeze │ │ GPU │ │ │ │ └───────────────────┬────────────────────┘ ▼ tokens
얻게 되는 것
모델에 맞춰 튜닝된 하나의 엔드포인트
┌─── serves you only ────────────────────┐ │ │ │ │ your own capacity │ │ │ │ │ │ │ │ │ ▄▄▄ │ │ │ ▄██████▄ ▄████▄ │ │ │ ▄██████████████████▄ │ │ │ ▄██████████████████████▄ │ │ │ ▄██████████████████████████▄ │ │ │ ▄▄▄▄███████████████████████████████▄ │ │ └──────┬───────┬───────┬───────┬────── │ │ your traffic over a day │ │└────────────────────────────────────────┘
고객사 엔드포인트
워크스페이스 전용 용량입니다.
your endpoint ▲ ship ┌─ ────────── ─┐ │ tune measure │ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┘ ▶ ▌▌▌ ▌▌▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┐ ▶ ▌▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ └───────────────────────────┘ │ ▼ reverted
튜닝
먼저 서빙을 시작하고, 그다음 다운타임 없이 튜닝합니다.
┌─ ──┐ your balance │ │ ░░░░░░░░░░░░░░░░░ └──────── ────────┘ ┬ │ │ now ▼ │ ┌─────┬─────┬── ──┬─────┬─────┬─────┐ ┴ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ └─────┴─────┴─────┴─────┴─────┴─────┘ GPU hours └── paid ahead ─┘
가격 단위
GPU 시간당 USD 9.58
잔액에서 세 시간씩 선결제로 지불됩니다.
요청
모델과 트래픽을 알려주세요
이메일로 답변드립니다. 이 양식에는 토큰, 키 또는 가중치를 보내지 마세요.