O lab de kernels por trás da IA instantânea
Inferência de modelos abertos, otimizada até o kernel de GPU.
─ inference ─────
║█║ ║█║ ║█║ ║█║ ║█║ ╔═╧═╧═╧═╧═╧═╧═╧═╧═╗║█║═╣▓▓▓▓RIGHTNOW▓▓▓▓▓╠═║█║ ┌─ GLM 5.3 answer ──┐║█║═╣▓╔═════════════╗▓╠═║█║ │ ▄▄▄▄ ▄▄ ▄▄▄▄▄ ▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║ │ ▄▄▄ ▄▄▄▄▄▄ ▄▄ ▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄▄▄▄ ▄▄▄ ▄▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄ ▄▄▄▄ ▄▄▄ ▄▄▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄▄▄ ▄▄▄▄▄ ▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║ │ ▄▄▄ ▄▄ █ │║█║═╣▓╚═════════════╝▓╠═║█║ └───────────────────┘║█║═╣▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓╠═║█║ ╚═╤═╤═╤═╤═╤═╤═╤═╤═╝ ║█║ ║█║ ║█║ ║█║ ║█║ GPU kernels
██████▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄══════▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄█
Modelos
Preços publicados, velocidade medida
| Modelo | Entrada | Entrada em cache | Saída | Tokens por segundo | Acertos de cache | |
|---|---|---|---|---|---|---|
 DeepSeek V4.1 Flash 1017DeepSeek | EntradaUSD 0.15 | Entrada em cacheUSD 0.01 | SaídaUSD 0.60 | Tokens por segundo327 | Acertos de cache99.3% | → |
| GLM 5.3 FlashZ.ai | EntradaUSD 0.11 | Entrada em cacheUSD 0.03 | SaídaUSD 0.45 | Tokens por segundo254.1 | Acertos de cache98.5% | → |
 Qwen3.8 27BQwen | EntradaUSD 0.10 | Entrada em cacheUSD 0.01 | SaídaUSD 0.40 | Tokens por segundo140 | Acertos de cache92.7% | → |
 Ornith 1.5 35BOrnith | EntradaUSD 0.10 | Entrada em cacheUSD 0.01 | SaídaUSD 0.40 | Tokens por segundo216 | Acertos de cache98.4% | → |
| DeepSeek V4.1 FlashDeepSeek | EntradaUSD 0.14 | Entrada em cacheUSD 0.03 | SaídaUSD 0.58 | Tokens por segundo378 | Acertos de cache98.4% | → |
Stack de serving
Cinco camadas, ajustadas em conjunto
Cada modelo aberto roda com configurações de decodificação, precisão e motor escolhidas para esse modelo e o hardware dele.
stack de serving
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄
█████████████████████████████████████████████ █████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄
████████████████████████████████████████████ ████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀
checkpoint
precision
● ● ● ● ● ● ● candidates
● ● ● ● ●
● ● ● ● ● ● sampling
batching ↓
prompt cache ↓
attention
matrix multiply
GPU
memory
─
─
─
─
─ ─
─
─
─
─
──────────────────────────────────────────────────┐ │ │ ┌ ─┐ ───┤ ├─┤ │ │ │ └ │ ├────── ────────────────────────────────────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ │ ├──────────────── ──────────────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ ├ │ │ └ │ ├────────────────────────── ────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ │ │ │ └ │ ├──────────────────────────────────── ──────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ ─┘ └──────────────────────────────────────────────
request
tune
measure
ship
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○
○ ○ ○ ○ ○
○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
█████ █████████████████
▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
████ ████████████████
▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
→ →
checkpoint
precision
candidates
sampling
● ● ●
● ●
● ●
batching
prompt cache
attention
matrix multiply
GPU
memory
─
─
─
─
─
─
─
─
─
─
─
─
─┐┌─── ─ ────────┐ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ ─┘└─── ──────────────────┘
tune measure ship
request
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶ - GPUs compatíveis
- Kernels
- CUDA
- Triton
Cache de prompts
Prompts com o mesmo início custam menos
O cache é automático e de melhor esforço, sem exigir cabeçalho nem parâmetro.
DeepSeek V4.1 Flash 1017GLM 5.3 FlashQwen3.8 27BOrnith 1.5 35BDeepSeek V4.1 Flash
Por milhão de tokens
Primeira chamadainstruções, ferramentas, documentosperguntaEntradaUSD 0.15
Próxima chamadao mesmo inícionova perguntaEntrada em cacheUSD 0.01
99.3% taxa de acertos de cache
98.5% taxa de acertos de cache
92.7% taxa de acertos de cache
98.4% taxa de acertos de cache
98.4% taxa de acertos de cache
Capacidade
Pay as you go, reserved, dedicated or batch
One day of open model traffic: four ways to run on the same capacity.
│ │ shared capacity │ │ │ ▄▄ │ ▄████▄ ▄██▄ │ ▄████████████▄ │ ▄██████████████▄ │ ▄██ ████▄ your bill │ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
Pagamento por uso
Cobrado por token, sem assinatura, em capacidade compartilhada.
│ │ shared capacity │ ├─ ────────── held for you │ ▄▄ │ ▄████▄ ▄██▄ │ ▄████████████▄ │ ▄██████████████▄ │ ▄█████████████████▄ │ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
Capacidade reservada
Capacidade reservada só para o seu tráfego, combinada com o time de vendas.
┌─── ────────┐ serves you only │ │ ││ │ │ your own capacity │ │ ││ │ ││ │ │ ▄▄│ │ │ ▄████▄ ▄██▄│ │ │ ▄████████████▄│ │ │ ▄██████████████▄│ │ │ ▄█████████████████▄│ │ │ ▄▄▄█████████████████████▄│ │ └───┬─────┬─────┬─────┬───│ │ your traffic over a day └────────────────────────────┘
Implantações dedicadas
Uma implantação que atende só a sua empresa, combinada com o time de vendas.
│ │ idle capacity │ │ your batch job │ ▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄ │ ██████ ███ ██████ ▄████▄ ▄██▄ │ █████ ████ ▄████████████▄ │ ████ ███ ▄██████████████▄ │ ███ █ ▄█████████████████▄ │ █ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
Batch
A big job run on idle capacity, with results in hours for a lower price.
Início rápido
Mude três valores, mantenha seu código
A API aceita chamadas de Chat Completions e Messages.
curl
1
2
3
4
5
# Set RIGHTNOW_API_KEY to your API key before running this example.curl -X POST "https://@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@.@@@@@@@@@@@@@@@@@@@@@@@@@@
.?%#*==-~^<>[]{}()|\/abcdefghijklmn=.?%#*==-~^<>[]{}()|\/abcdefg
.=B$$$&@%#*==~^<>[]{}()|\/ABCDEFGHI=.=B$$$&@%#*==~^<>[]{}()|\/AB
.<C***@%#==~^<>[]{}()|\/1234567890$=.<C***@%#==~^<>[]{}()|\/1234
I%###@%*==~^<>[]{}()|\/!@#$%^&*()_==I%###@%*==~^<>[]{}()|\/!@#$%
I8***%#*=~^<>[]{}()|\/qwertyuiopas=I8***%#*=~^<>[]{}()|\/qwertyu
I&@@@#*=~^<>[]{}()|\/zxcvbnmlkjhgf=I&@@@#*=~^<>[]{}()|\/zxcvbnml
I%$$$*==^<>[]{}()|\/QWERTYUIOPASDF=I%$$$*==^<>[]{}()|\/QWERTYUIO
I8&&&=~^<>[]{}()|\/ZXCVBNMLKJHGFD=I8&&&=~^<>[]{}()|\/ZXCVBNMLKJH
I%###=^<>[]{}()|\/!@#$%^&*()_=-=[]=I%###=^<>[]{}()|\/!@#$%^&*()_
I8***^<>[]{}()|\/`~1234567890-=[];=I8***^<>[]{}()|\/`~1234567890
I&@@@<>[]{}()|\/'".,<>?/abcdefghij=I&@@@<>[]{}()|\/'".,<>?/abcde
.<%$$[]{}()|\/ABCDEFGHIJKLMNOPQRST=.<%$$[]{}()|\/ABCDEFGHIJKLMNO
.=B**{}()|\/1234567890!@#$%^&*()_=.=B**{}()|\/1234567890!@#$%^&*
.?%##()|\/qwertyuiopasdfghjklzxcv=.?%##()|\/qwertyuiopasdfghjklz
&@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@.&@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@.@@@@@@@@@@@@@@@@@@@@@@@@@@
.?%#*==-~^<>[]{}()|\/abcdefghijklmn=.?%#*==-~^<>[]{}()|\/abcdefg
.=B$$$&@%#*==~^<>[]{}()|\/ABCDEFGHI=.=B$$$&@%#*==~^<>[]{}()|\/AB
.<C***@%#==~^<>[]{}()|\/1234567890$=.<C***@%#==~^<>[]{}()|\/1234
I%###@%*==~^<>[]{}()|\/!@#$%^&*()_==I%###@%*==~^<>[]{}()|\/!@#$%
I8***%#*=~^<>[]{}()|\/qwertyuiopas=I8***%#*=~^<>[]{}()|\/qwertyu
I&@@@#*=~^<>[]{}()|\/zxcvbnmlkjhgf=I&@@@#*=~^<>[]{}()|\/zxcvbnml
I%$$$*==^<>[]{}()|\/QWERTYUIOPASDF=I%$$$*==^<>[]{}()|\/QWERTYUIO
I8&&&=~^<>[]{}()|\/ZXCVBNMLKJHGFD=I8&&&=~^<>[]{}()|\/ZXCVBNMLKJH
I%###=^<>[]{}()|\/!@#$%^&*()_=-=[]=I%###=^<>[]{}()|\/!@#$%^&*()_
I8***^<>[]{}()|\/`~1234567890-=[];=I8***^<>[]{}()|\/`~1234567890
I&@@@<>[]{}()|\/'".,<>?/abcdefghij=I&@@@<>[]{}()|\/'".,<>?/abcde
.<%$$[]{}()|\/ABCDEFGHIJKLMNOPQRST=.<%$$[]{}()|\/ABCDEFGHIJKLMNO