Dedicated deployments: Your model, tuned to the GPU kernel
Bring your own weights or any Hugging Face model to a dedicated endpoint, billed per GPU hour.
┌─ your endpoint ──────────┐ ┌─────────────────┐ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ weights │ │ │ ├─┐ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ a model we list │ │ └─────────────────┘ │ │ │ │ │ serves you only │ ┌─────────────────┐ │ │ │ │ ├─┴┬── ─ your weights ▶ ▶ tokens ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ │ ├ └─────────────────┘ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ │ │ │ │ │ ┌─────────────────┐ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ kernels │ │ │ ├──┘ Hugging Face ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ └─────────────────┘ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ hardware │ │ ██████████████████████████ │ │ ┬ ┬ └ ──────────────────────── ┘ │ │ └─ ┘ tune → measure → ship
─────┐ a model we list ────────┤ your weights ────────┤ Hugging Face ▼ ┌─ your endpoint ──────────────────────┐ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ │ │ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ │ │ │ serves you only │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌ ▌ │ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ ██████████████████████████████████████ │ │ ┬ ┬ ┬ └ ──────────────────────── ───── ──────┘ │ │ ▼ └─ ┘ tune → measure → ship tokens
What you get
One endpoint, tuned for your model
┌─── ────────┐ serves you only │ │ ││ │ │ your own capacity │ │ ││ │ ││ │ │ ▄▄│ │ │ ▄████▄ ▄██▄│ │ │ ▄████████████▄│ │ │ ▄██████████████▄│ │ │ ▄█████████████████▄│ │ │ ▄▄▄█████████████████████▄│ │ └───┬─────┬─────┬─────┬───│ │ your traffic over a day └────────────────────────────┘
Your endpoint
Capacity that serves your workspace only.
your endpoint ▲ ship first day │ second machine ─┘ tune measure ▄▀▄▀▄▀▄▀ ▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄ ▌▌▌ ▌▌▌ ─┐ tune measure ▄▀▄▀▄▀▄▀ ▌▌ ▌▌▌▌ │ ▀▄▀▄▀▄▀▄ ▌▌ ▌▌▌▌ ▼ reverted └──────┬───────┬───────┬───────┬────────
Tuning
It serves first, then we tune it, with no downtime.
┌─ ──┐ your balance │ │ ░░░░░░░░░░░░░░░░░ └──────── ────────┘ ┬ │ now ▼ │ ┌─────┬─────┬── ──┬─────┬─────┬─────┐ ┴ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ └─────┴─────┴─────┴─────┴─────┴─────┘ GPU hours └── paid ahead ─┘
Price unit
The GPU hour, paid three hours at a time from your balance.
Serving stack
Five layers, tuned for your model
serving stack
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄
█████████████████████████████████████████████ █████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄
████████████████████████████████████████████ ████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀
checkpoint
precision
● ● ● ● ● ● ● candidates
● ● ● ● ●
● ● ● ● ● ● sampling
batching ↓
prompt cache ↓
attention
matrix multiply
GPU
memory
─
─
─
─
─ ─
─
─
─
─
──────────────────────────────────────────────────┐ │ │ ┌ ─┐ ───┤ ├─┤ │ │ │ └ │ ├────── ────────────────────────────────────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ │ ├──────────────── ──────────────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ ├ │ │ └ │ ├────────────────────────── ────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ │ │ │ └ │ ├──────────────────────────────────── ──────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ ─┘ └──────────────────────────────────────────────
request
tune
measure
ship
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○
○ ○ ○ ○ ○
○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
█████ █████████████████
▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
████ ████████████████
▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
→ →
checkpoint
precision
candidates
sampling
● ● ●
● ●
● ●
batching
prompt cache
attention
matrix multiply
GPU
memory
─
─
─
─
─
─
─
─
─
─
─
─
─┐┌─── ─ ────────┐ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ ─┘└─── ──────────────────┘
tune measure ship
request
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶ The lab publishes its kernel search. AutoKernel paper↗ (opens in a new tab), AutoKernel repository↗ (opens in a new tab), AutoMegaKernel paper↗ (opens in a new tab)
How it goes
From the request to your endpoint
┌─ ──────────────┐ ┌─ ─────────┐ ┌─ ───────────────┐ ┌─ ──────────────┐ ┌─ ──────────┐ you a person we you the lab │ ├─ │ ├─ │ │ │ │ send the request ▶ replies ▶ start call it tunes it your ├─▶ ├─▶ │ │ │ │ │ │ │ │ │ │ endpoint │ │ │ │ │ │ │ │ │ │ ─ ── ── ── ── ── ▌▌▌ ▌▌ ▌▌▌▌ ▌▌▌▌ ▄▄▄▄████ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ● ○ ○ ● ○ │ │ │ │ │ │ │ │ │ │ ── ── ── ── ── ─ ▌▌▌ ▌▌ ▌▌▌▌ ▌▌▌▌ ▄▄▄▄████████████ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ○ ● ○ ○ ● └────────────────────┘ └────────────────────┘ └────────────────────┘ └────────────────────┘ └────────────────────┘
┌── you │ send the request │ ▌▌▌ ▌▌ ▌▌▌▌ ▌▌▌▌ │ ├── a person │ replies │ ── ── ── ── ── ─ ○ ● ○ ○ ● │ we ├── start │ your endpoint ▄▄▄▄████████████ │ │ you ├── call it │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ │ │ the lab └── tunes it ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
Request
Tell us the model and the traffic
What happens next
We reply by email. The reply holds a plan, its price and its date, or the reason it cannot be served yet.
Send no token, key or weights in this form.