驱动即时 AI 的内核实验室
开源模型推理，深度优化至 GPU 内核。
─ inference ─────
║█║ ║█║ ║█║ ║█║ ║█║ ╔═╧═╧═╧═╧═╧═╧═╧═╧═╗║█║═╣▓▓▓▓RIGHTNOW▓▓▓▓▓╠═║█║ ┌─ GLM 5.3 answer ──┐║█║═╣▓╔═════════════╗▓╠═║█║ │ ▄▄▄▄ ▄▄ ▄▄▄▄▄ ▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║ │ ▄▄▄ ▄▄▄▄▄▄ ▄▄ ▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄▄▄▄ ▄▄▄ ▄▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄ ▄▄▄▄ ▄▄▄ ▄▄▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄▄▄ ▄▄▄▄▄ ▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║ │ ▄▄▄ ▄▄ █ │║█║═╣▓╚═════════════╝▓╠═║█║ └───────────────────┘║█║═╣▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓╠═║█║ ╚═╤═╤═╤═╤═╤═╤═╤═╤═╝ ║█║ ║█║ ║█║ ║█║ ║█║ GPU kernels
██████▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄══════▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄█
模型
公开定价，实测速度
| 模型 | 输入 | 缓存输入 | 输出 | 每秒 tokens | 缓存命中率 | |
|---|---|---|---|---|---|---|
 DeepSeek V4.1 Flash 1017DeepSeek | 输入USD 0.15 | 缓存输入USD 0.01 | 输出USD 0.60 | 每秒 tokens327 | 缓存命中率99.3% | → |
| GLM 5.3 FlashZ.ai | 输入USD 0.11 | 缓存输入USD 0.03 | 输出USD 0.45 | 每秒 tokens254 | 缓存命中率98.7% | → |
 Qwen3.8 27BQwen | 输入USD 0.10 | 缓存输入USD 0.01 | 输出USD 0.40 | 每秒 tokens140 | 缓存命中率94.0% | → |
 Ornith 1.5 35BOrnith | 输入USD 0.10 | 缓存输入USD 0.01 | 输出USD 0.40 | 每秒 tokens216 | 缓存命中率98.8% | → |
| DeepSeek V4.1 FlashDeepSeek | 输入USD 0.14 | 缓存输入USD 0.03 | 输出USD 0.58 | 每秒 tokens378 | 缓存命中率98.4% | → |
推理服务栈
五层协同调优
每个开源模型都针对模型本身及其硬件，选定解码、精度和引擎配置。
推理服务栈
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄
█████████████████████████████████████████████ █████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄
████████████████████████████████████████████ ████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀
checkpoint
precision
● ● ● ● ● ● ● candidates
● ● ● ● ●
● ● ● ● ● ● sampling
batching ↓
prompt cache ↓
attention
matrix multiply
GPU
memory
─
─
─
─
─ ─
─
─
─
─
──────────────────────────────────────────────────┐ │ │ ┌ ─┐ ───┤ ├─┤ │ │ │ └ │ ├────── ────────────────────────────────────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ │ ├──────────────── ──────────────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ ├ │ │ └ │ ├────────────────────────── ────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ │ │ │ └ │ ├──────────────────────────────────── ──────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ ─┘ └──────────────────────────────────────────────
request
tune
measure
ship
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○
○ ○ ○ ○ ○
○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
█████ █████████████████
▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
████ ████████████████
▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
→ →
checkpoint
precision
candidates
sampling
● ● ●
● ●
● ●
batching
prompt cache
attention
matrix multiply
GPU
memory
─
─
─
─
─
─
─
─
─
─
─
─
─┐┌─── ─ ────────┐ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ ─┘└─── ──────────────────┘
tune measure ship
request
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶ - 支持的 GPU
- 内核
- CUDA
- Triton
- 数据保留
- 默认为零
提示词缓存
开头相同的提示词更便宜
缓存自动进行，尽力而为，无需任何请求头或参数。
DeepSeek V4.1 Flash 1017GLM 5.3 FlashQwen3.8 27BOrnith 1.5 35BDeepSeek V4.1 Flash
每百万 tokens
首次请求指令、工具、文档问题输入USD 0.15
下一次请求相同的开头新问题缓存输入USD 0.01
99.3% 缓存命中率
98.7% 缓存命中率
94.0% 缓存命中率
98.8% 缓存命中率
98.4% 缓存命中率
容量
按量付费、预留、专用或批量
开源模型一天的流量：在同一容量上运行的四种方式。
│ │ shared capacity │ │ │ ▄▄ │ ▄████▄ ▄██▄ │ ▄████████████▄ │ ▄██████████████▄ │ ▄██ ████▄ your bill │ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
按量付费
按 token 计费，无需订阅，使用共享容量。
│ │ shared capacity │ ├─ ────────── held for you │ ▄▄ │ ▄████▄ ▄██▄ │ ▄████████████▄ │ ▄██████████████▄ │ ▄█████████████████▄ │ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
预留容量
专为您的流量保留的容量。
┌─── ────────┐ serves you only │ │ ││ │ │ your own capacity │ │ ││ │ ││ │ │ ▄▄│ │ │ ▄████▄ ▄██▄│ │ │ ▄████████████▄│ │ │ ▄██████████████▄│ │ │ ▄█████████████████▄│ │ │ ▄▄▄█████████████████████▄│ │ └───┬─────┬─────┬─────┬───│ │ your traffic over a day └────────────────────────────┘
专用部署
仅为您的公司提供服务的部署。
│ │ idle capacity │ │ your batch job │ ▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄ │ ██████ ███ ██████ ▄████▄ ▄██▄ │ █████ ████ ▄████████████▄ │ ████ ███ ▄██████████████▄ │ ███ █ ▄█████████████████▄ │ █ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
批量推理
在闲置容量上运行大型任务，数小时内出结果，成本更低。
快速开始
只改三个值，代码保持不变
该 API 支持 Chat Completions 和 Messages 请求。
curl
1
2
3
4
5
6
7
8
9
10
# Set RIGHTNOW_API_KEY to your API key first.curl -X POST \ "https://=nmlkjihgfedcba/\|)(}{][><^~-==*#%?.=nmlkjihgfedcba/\|)(}{][><^~
.?%#*==-~^<>[]{}()|\/abcdefghijklmn=.?%#*==-~^<>[]{}()|\/abcdefg
.=B$$$&@%#*==~^<>[]{}()|\/ABCDEFGHI=.=B$$$&@%#*==~^<>[]{}()|\/AB
.<C***@%#==~^<>[]{}()|\/1234567890$=.<C***@%#==~^<>[]{}()|\/1234
I%###@%*==~^<>[]{}()|\/!@#$%^&*()_==I%###@%*==~^<>[]{}()|\/!@#$%
I8***%#*=~^<>[]{}()|\/qwertyuiopas=I8***%#*=~^<>[]{}()|\/qwertyu
I&@@@#*=~^<>[]{}()|\/zxcvbnmlkjhgf=I&@@@#*=~^<>[]{}()|\/zxcvbnml
I%$$$*==^<>[]{}()|\/QWERTYUIOPASDF=I%$$$*==^<>[]{}()|\/QWERTYUIO
I8&&&=~^<>[]{}()|\/ZXCVBNMLKJHGFD=I8&&&=~^<>[]{}()|\/ZXCVBNMLKJH
I%###=^<>[]{}()|\/!@#$%^&*()_=-=[]=I%###=^<>[]{}()|\/!@#$%^&*()_
I8***^<>[]{}()|\/`~1234567890-=[];=I8***^<>[]{}()|\/`~1234567890
I&@@@<>[]{}()|\/'".,<>?/abcdefghij=I&@@@<>[]{}()|\/'".,<>?/abcde
.<%$$[]{}()|\/ABCDEFGHIJKLMNOPQRST=.<%$$[]{}()|\/ABCDEFGHIJKLMNO
.=B**{}()|\/1234567890!@#$%^&*()_=.=B**{}()|\/1234567890!@#$%^&*
.?%##()|\/qwertyuiopasdfghjklzxcv=.?%##()|\/qwertyuiopasdfghjklz
=vcxzlkjhgfdsapoiuytrewq/\|)(##%?.=vcxzlkjhgfdsapoiuytrewq/\|)(#
=nmlkjihgfedcba/\|)(}{][><^~-==*#%?.=nmlkjihgfedcba/\|)(}{][><^~
.?%#*==-~^<>[]{}()|\/abcdefghijklmn=.?%#*==-~^<>[]{}()|\/abcdefg
.=B$$$&@%#*==~^<>[]{}()|\/ABCDEFGHI=.=B$$$&@%#*==~^<>[]{}()|\/AB
.<C***@%#==~^<>[]{}()|\/1234567890$=.<C***@%#==~^<>[]{}()|\/1234
I%###@%*==~^<>[]{}()|\/!@#$%^&*()_==I%###@%*==~^<>[]{}()|\/!@#$%
I8***%#*=~^<>[]{}()|\/qwertyuiopas=I8***%#*=~^<>[]{}()|\/qwertyu
I&@@@#*=~^<>[]{}()|\/zxcvbnmlkjhgf=I&@@@#*=~^<>[]{}()|\/zxcvbnml
I%$$$*==^<>[]{}()|\/QWERTYUIOPASDF=I%$$$*==^<>[]{}()|\/QWERTYUIO
I8&&&=~^<>[]{}()|\/ZXCVBNMLKJHGFD=I8&&&=~^<>[]{}()|\/ZXCVBNMLKJH
I%###=^<>[]{}()|\/!@#$%^&*()_=-=[]=I%###=^<>[]{}()|\/!@#$%^&*()_
I8***^<>[]{}()|\/`~1234567890-=[];=I8***^<>[]{}()|\/`~1234567890
I&@@@<>[]{}()|\/'".,<>?/abcdefghij=I&@@@<>[]{}()|\/'".,<>?/abcde
.<%$$[]{}()|\/ABCDEFGHIJKLMNOPQRST=.<%$$[]{}()|\/ABCDEFGHIJKLMNO