즉각적인 AI를 뒷받침하는 커널 연구소
GPU 커널까지 최적화한 오픈 모델 추론.
─ inference ─────
║█║ ║█║ ║█║ ║█║ ║█║ ╔═╧═╧═╧═╧═╧═╧═╧═╧═╗║█║═╣▓▓▓▓RIGHTNOW▓▓▓▓▓╠═║█║ ┌─ GLM 5.3 answer ──┐║█║═╣▓╔═════════════╗▓╠═║█║ │ ▄▄▄▄ ▄▄ ▄▄▄▄▄ ▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║ │ ▄▄▄ ▄▄▄▄▄▄ ▄▄ ▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄▄▄▄ ▄▄▄ ▄▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄ ▄▄▄▄ ▄▄▄ ▄▄▄▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║══│ ▄▄▄▄ ▄▄▄▄▄ ▄▄ │║█║═╣▓║ ▄ ▄ ▄ ▄ ▄ ▄ ║▓╠═║█║ │ ▄▄▄ ▄▄ █ │║█║═╣▓╚═════════════╝▓╠═║█║ └───────────────────┘║█║═╣▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓╠═║█║ ╚═╤═╤═╤═╤═╤═╤═╤═╤═╝ ║█║ ║█║ ║█║ ║█║ ║█║ GPU kernels
██████▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄══════▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄█
모델
공개된 가격, 측정된 속도
| 모델 | 입력 | 캐시된 입력 | 출력 | 초당 토큰 | 캐시 적중률 | |
|---|---|---|---|---|---|---|
 DeepSeek V4.1 Flash 1017DeepSeek | 입력USD 0.15 | 캐시된 입력USD 0.01 | 출력USD 0.60 | 초당 토큰327 | 캐시 적중률99.3% | → |
| GLM 5.3 FlashZ.ai | 입력USD 0.11 | 캐시된 입력USD 0.03 | 출력USD 0.45 | 초당 토큰254 | 캐시 적중률98.7% | → |
 Qwen3.8 27BQwen | 입력USD 0.10 | 캐시된 입력USD 0.01 | 출력USD 0.40 | 초당 토큰140 | 캐시 적중률94.0% | → |
 Ornith 1.5 35BOrnith | 입력USD 0.10 | 캐시된 입력USD 0.01 | 출력USD 0.40 | 초당 토큰216 | 캐시 적중률98.8% | → |
| DeepSeek V4.1 FlashDeepSeek | 입력USD 0.14 | 캐시된 입력USD 0.03 | 출력USD 0.58 | 초당 토큰378 | 캐시 적중률98.4% | → |
서빙 스택
함께 튜닝한 다섯 개의 레이어
각 오픈 모델은 해당 모델과 하드웨어에 맞춰 선택한 디코딩, 정밀도, 엔진 설정으로 실행됩니다.
서빙 스택
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
─ ── ── ── ── ─ ─ ── ── ── ── ── ── ── ── ── ── ── ── ─
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌ ▌▌
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄
█████████████████████████████████████████████ █████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀
▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄
████████████████████████████████████████████ ████████
▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ▀▀▀▀▀▀▀▀
checkpoint
precision
● ● ● ● ● ● ● candidates
● ● ● ● ●
● ● ● ● ● ● sampling
batching ↓
prompt cache ↓
attention
matrix multiply
GPU
memory
─
─
─
─
─ ─
─
─
─
─
──────────────────────────────────────────────────┐ │ │ ┌ ─┐ ───┤ ├─┤ │ │ │ └ │ ├────── ────────────────────────────────────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ │ ├──────────────── ──────────────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ ├ │ │ └ │ ├────────────────────────── ────────────────────┤ │ │ │ ┌ │ ───┤ ├─┤ │ │ │ └ │ ├──────────────────────────────────── ──────────┤ │ │ │ ┌ │ ──┤ ├─┤ │ │ │ └ ─┘ └──────────────────────────────────────────────
request
tune
measure
ship
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
─ ── ── ── ── ── ── ──
▓░░░▓ ▓░░░▓░░░▓░░░▓░░░▓
░░░▓░ ░░░▓░░░▓░░░▓░░░▓░
░░▓░░ ░░▓░░░▓░░░▓░░░▓░░
○ ○ ○ ○
○ ○ ○ ○ ○
○ ○ ○ ○ ○
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ▌▌▌▌ ▌▌
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀
▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄
▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
█████ █████████████████
▀▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄▄
████ ████████████████
▀▀▀▀ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀
→ →
checkpoint
precision
candidates
sampling
● ● ●
● ●
● ●
batching
prompt cache
attention
matrix multiply
GPU
memory
─
─
─
─
─
─
─
─
─
─
─
─
─┐┌─── ─ ────────┐ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ────────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ │├─── ─ ───────┤ ││ │ ││ │ ││ │ ││ │ ││ │ ││ │ ─┘└─── ──────────────────┘
tune measure ship
request
tokens
WEIGHTS
DECODING
SERVING
KERNELS
HARDWARE
▶
◆
◆
◆
◆
◆
▶ - 지원 GPU
- 커널
- CUDA
- Triton
- 데이터 보존
- 기본값 0
프롬프트 캐싱
시작이 같은 프롬프트는 더 저렴합니다
캐싱은 자동으로, 베스트 에포트 방식으로 이루어지며 헤더나 파라미터가 필요하지 않습니다.
DeepSeek V4.1 Flash 1017GLM 5.3 FlashQwen3.8 27BOrnith 1.5 35BDeepSeek V4.1 Flash
100만 토큰당
첫 번째 요청지침, 도구, 문서질문입력USD 0.15
다음 요청같은 시작 부분새 질문캐시된 입력USD 0.01
99.3% 캐시 적중률
98.7% 캐시 적중률
94.0% 캐시 적중률
98.8% 캐시 적중률
98.4% 캐시 적중률
용량
종량제, 예약, 전용 또는 배치
하루 동안의 오픈 모델 트래픽: 같은 용량에서 실행하는 네 가지 방법.
│ │ shared capacity │ │ │ ▄▄ │ ▄████▄ ▄██▄ │ ▄████████████▄ │ ▄██████████████▄ │ ▄██ ████▄ your bill │ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
종량제
구독 없이 토큰 단위로 과금되며, 공유 용량에서 실행됩니다.
│ │ shared capacity │ ├─ ────────── held for you │ ▄▄ │ ▄████▄ ▄██▄ │ ▄████████████▄ │ ▄██████████████▄ │ ▄█████████████████▄ │ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
예약 용량
고객의 트래픽만을 위해 확보한 용량.
┌─── ────────┐ serves you only │ │ ││ │ │ your own capacity │ │ ││ │ ││ │ │ ▄▄│ │ │ ▄████▄ ▄██▄│ │ │ ▄████████████▄│ │ │ ▄██████████████▄│ │ │ ▄█████████████████▄│ │ │ ▄▄▄█████████████████████▄│ │ └───┬─────┬─────┬─────┬───│ │ your traffic over a day └────────────────────────────┘
전용 배포
귀사만을 위해 운영되는 배포.
│ │ idle capacity │ │ your batch job │ ▄▄▄▄▄▄▄ ▄▄▄▄▄▄▄▄▄▄▄▄ ▄▄ │ ██████ ███ ██████ ▄████▄ ▄██▄ │ █████ ████ ▄████████████▄ │ ████ ███ ▄██████████████▄ │ ███ █ ▄█████████████████▄ │ █ ▄▄▄█████████████████████▄ └───┬─────┬─────┬─────┬─── your traffic over a day
배치 추론
유휴 용량에서 대규모 작업을 실행하고, 몇 시간 안에 결과를 받으며, 비용은 더 낮습니다.
빠른 시작
값 세 개만 바꾸고 코드는 그대로
API는 Chat Completions 및 Messages 요청을 지원합니다.
curl
1
2
3
4
5
6
7
8
9
10
# Set RIGHTNOW_API_KEY to your API key first.curl -X POST \ "https://=nmlkjihgfedcba/\|)(}{][><^~-==*#%?.=nmlkjihgfedcba/\|)(}{][><^~
.?%#*==-~^<>[]{}()|\/abcdefghijklmn=.?%#*==-~^<>[]{}()|\/abcdefg
.=B$$$&@%#*==~^<>[]{}()|\/ABCDEFGHI=.=B$$$&@%#*==~^<>[]{}()|\/AB
.<C***@%#==~^<>[]{}()|\/1234567890$=.<C***@%#==~^<>[]{}()|\/1234
I%###@%*==~^<>[]{}()|\/!@#$%^&*()_==I%###@%*==~^<>[]{}()|\/!@#$%
I8***%#*=~^<>[]{}()|\/qwertyuiopas=I8***%#*=~^<>[]{}()|\/qwertyu
I&@@@#*=~^<>[]{}()|\/zxcvbnmlkjhgf=I&@@@#*=~^<>[]{}()|\/zxcvbnml
I%$$$*==^<>[]{}()|\/QWERTYUIOPASDF=I%$$$*==^<>[]{}()|\/QWERTYUIO
I8&&&=~^<>[]{}()|\/ZXCVBNMLKJHGFD=I8&&&=~^<>[]{}()|\/ZXCVBNMLKJH
I%###=^<>[]{}()|\/!@#$%^&*()_=-=[]=I%###=^<>[]{}()|\/!@#$%^&*()_
I8***^<>[]{}()|\/`~1234567890-=[];=I8***^<>[]{}()|\/`~1234567890
I&@@@<>[]{}()|\/'".,<>?/abcdefghij=I&@@@<>[]{}()|\/'".,<>?/abcde
.<%$$[]{}()|\/ABCDEFGHIJKLMNOPQRST=.<%$$[]{}()|\/ABCDEFGHIJKLMNO
.=B**{}()|\/1234567890!@#$%^&*()_=.=B**{}()|\/1234567890!@#$%^&*
.?%##()|\/qwertyuiopasdfghjklzxcv=.?%##()|\/qwertyuiopasdfghjklz
=vcxzlkjhgfdsapoiuytrewq/\|)(##%?.=vcxzlkjhgfdsapoiuytrewq/\|)(#
=nmlkjihgfedcba/\|)(}{][><^~-==*#%?.=nmlkjihgfedcba/\|)(}{][><^~
.?%#*==-~^<>[]{}()|\/abcdefghijklmn=.?%#*==-~^<>[]{}()|\/abcdefg
.=B$$$&@%#*==~^<>[]{}()|\/ABCDEFGHI=.=B$$$&@%#*==~^<>[]{}()|\/AB
.<C***@%#==~^<>[]{}()|\/1234567890$=.<C***@%#==~^<>[]{}()|\/1234
I%###@%*==~^<>[]{}()|\/!@#$%^&*()_==I%###@%*==~^<>[]{}()|\/!@#$%
I8***%#*=~^<>[]{}()|\/qwertyuiopas=I8***%#*=~^<>[]{}()|\/qwertyu
I&@@@#*=~^<>[]{}()|\/zxcvbnmlkjhgf=I&@@@#*=~^<>[]{}()|\/zxcvbnml
I%$$$*==^<>[]{}()|\/QWERTYUIOPASDF=I%$$$*==^<>[]{}()|\/QWERTYUIO
I8&&&=~^<>[]{}()|\/ZXCVBNMLKJHGFD=I8&&&=~^<>[]{}()|\/ZXCVBNMLKJH
I%###=^<>[]{}()|\/!@#$%^&*()_=-=[]=I%###=^<>[]{}()|\/!@#$%^&*()_
I8***^<>[]{}()|\/`~1234567890-=[];=I8***^<>[]{}()|\/`~1234567890
I&@@@<>[]{}()|\/'".,<>?/abcdefghij=I&@@@<>[]{}()|\/'".,<>?/abcde
.<%$$[]{}()|\/ABCDEFGHIJKLMNOPQRST=.<%$$[]{}()|\/ABCDEFGHIJKLMNO