专用部署: 您的模型,调优到 GPU kernel 级别
将您自己的权重或任意 Hugging Face 模型接入专用端点,按 GPU 小时计费。
╔══ ═══════════════╗ your endpoint ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ░░ ░░░▓░░░▓░░░▓░░░▓░░░▓░ weights ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ───┐ a model we list ║ ║ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ├ ▶ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠═ ▶ ──────┤ your weights ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ │ ║ ║ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ──────┘ Hugging Face kernels ▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ║ ║ ████████████████████████████████ ║ ║ hardware ██ ████████████████████ ║ ║ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ║ ║ tune → measure → ship ╚══ ═══════╝
─────┐ a model we list ────────┤ your weights ────────┤ Hugging Face ▼ ╔══ ═══════════════╗ your endpoint ▓░ ░▓░░░▓░░░▓░░░▓░░░▓░░░ weights ║ ║ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ ║ ║ ║ ║ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠ ▶ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ║ ║ kernels ▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ║ ║ hardware ██ ████████████████████ ║ ║ tune → measure → ship ╚══ ═══════╝
任意 Hugging Face 模型
我们调优、部署并压榨 GPU 性能
目标:以最快、最省钱的方式为您的模型提供推理服务。
┌─ ────────┐ ┌─ ────────────┐ ┌─ ─────────┐ org/name tune squeeze ┌─ deploy ──────────┐ │ ├─┐ │ │ │ │ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ GPU ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ░░▓░░░▓░░░▓░░░▓░░ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ ├─── │ ├─── │ ├─── ▶ ▶ ▶ tokens │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ ├───▶ │ │ │ │ │ │ │ ───────────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ──────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ ┤ └──┴──┴──┴──┴──┴── ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ └─┬─────────────────┘ │ │ │ │ │ │ │ └───────────────────┘ └───────────────────┘ └───────────────────┘ └───────────────────┘
┌─ ───────────────────────────┐ org/name │ ├─┐ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ │ │ │ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ └─┬────────────────────────────────────┘ │ └─────────────────┬────────────────────┘ ▼ ┌─ ─────────────────────────────────┐ tune │ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ └───────────────────┬────────────────────┘ ▼ ┌─ deploy ───────────────────────────────┐ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │└───────────────────┬────────────────────┘ ▼ ┌─ ──────────────────────────────┐ squeeze │ │ GPU │ │ │ │ └───────────────────┬────────────────────┘ ▼ tokens
您将获得
一个端点,为您的模型调优
┌─── serves you only ────────────────────┐ │ │ │ │ your own capacity │ │ │ │ │ │ │ │ │ ▄▄▄ │ │ │ ▄██████▄ ▄████▄ │ │ │ ▄██████████████████▄ │ │ │ ▄██████████████████████▄ │ │ │ ▄██████████████████████████▄ │ │ │ ▄▄▄▄███████████████████████████████▄ │ │ └──────┬───────┬───────┬───────┬────── │ │ your traffic over a day │ │└────────────────────────────────────────┘
您的端点
容量仅供您的工作区使用。
your endpoint ▲ ship ┌─ ────────── ─┐ │ tune measure │ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┘ ▶ ▌▌▌ ▌▌▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┐ ▶ ▌▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ └───────────────────────────┘ │ ▼ reverted
调优
先上线服务,再进行调优,全程零停机。
┌─ ──┐ your balance │ │ ░░░░░░░░░░░░░░░░░ └──────── ────────┘ ┬ │ │ now ▼ │ ┌─────┬─────┬── ──┬─────┬─────┬─────┐ ┴ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ └─────┴─────┴─────┴─────┴─────┴─────┘ GPU hours └── paid ahead ─┘
计价单位
每 GPU 小时 USD 9.58
从您的余额中按三小时预付。
申请
告诉我们模型和流量
我们会通过电子邮件回复。 请勿在此表单中发送 token、密钥或权重。