専用デプロイ: GPU カーネルに合わせて調整した、お客様のモデル
独自の重みまたは任意の Hugging Face モデルを専用エンドポイントへ。GPU 時間ごとに課金されます。
╔══ ═══════════════╗ your endpoint ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ░░ ░░░▓░░░▓░░░▓░░░▓░░░▓░ weights ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ───┐ a model we list ║ ║ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ├ ▶ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠═ ▶ ──────┤ your weights ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ │ ║ ║ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ──────┘ Hugging Face kernels ▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ║ ║ ████████████████████████████████ ║ ║ hardware ██ ████████████████████ ║ ║ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ║ ║ tune → measure → ship ╚══ ═══════╝
─────┐ a model we list ────────┤ your weights ────────┤ Hugging Face ▼ ╔══ ═══════════════╗ your endpoint ▓░ ░▓░░░▓░░░▓░░░▓░░░▓░░░ weights ║ ║ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ ║ ║ ║ ║ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠ ▶ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ║ ║ kernels ▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ║ ║ hardware ██ ████████████████████ ║ ║ tune → measure → ship ╚══ ═══════╝
あらゆる Hugging Face モデル
調整し、デプロイし、GPU を絞り切る
目指すのは、お客様のモデルを最速かつ最も安くサーブする方法です。
┌─ ────────┐ ┌─ ────────────┐ ┌─ ─────────┐ org/name tune squeeze ┌─ deploy ──────────┐ │ ├─┐ │ │ │ │ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ GPU ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ░░▓░░░▓░░░▓░░░▓░░ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ ├─── │ ├─── │ ├─── ▶ ▶ ▶ tokens │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ ├───▶ │ │ │ │ │ │ │ ───────────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ──────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ ┤ └──┴──┴──┴──┴──┴── ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ └─┬─────────────────┘ │ │ │ │ │ │ │ └───────────────────┘ └───────────────────┘ └───────────────────┘ └───────────────────┘
┌─ ───────────────────────────┐ org/name │ ├─┐ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ │ │ │ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ └─┬────────────────────────────────────┘ │ └─────────────────┬────────────────────┘ ▼ ┌─ ─────────────────────────────────┐ tune │ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ └───────────────────┬────────────────────┘ ▼ ┌─ deploy ───────────────────────────────┐ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │└───────────────────┬────────────────────┘ ▼ ┌─ ──────────────────────────────┐ squeeze │ │ GPU │ │ │ │ └───────────────────┬────────────────────┘ ▼ tokens
得られるもの
モデルに合わせて調整された、1 つのエンドポイント
┌─── serves you only ────────────────────┐ │ │ │ │ your own capacity │ │ │ │ │ │ │ │ │ ▄▄▄ │ │ │ ▄██████▄ ▄████▄ │ │ │ ▄██████████████████▄ │ │ │ ▄██████████████████████▄ │ │ │ ▄██████████████████████████▄ │ │ │ ▄▄▄▄███████████████████████████████▄ │ │ └──────┬───────┬───────┬───────┬────── │ │ your traffic over a day │ │└────────────────────────────────────────┘
貴社のエンドポイント
ワークスペース専用のキャパシティ。
your endpoint ▲ ship ┌─ ────────── ─┐ │ tune measure │ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┘ ▶ ▌▌▌ ▌▌▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┐ ▶ ▌▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ └───────────────────────────┘ │ ▼ reverted
調整
まずサーブを開始し、その後ダウンタイムなしで調整します。
┌─ ──┐ your balance │ │ ░░░░░░░░░░░░░░░░░ └──────── ────────┘ ┬ │ │ now ▼ │ ┌─────┬─────┬── ──┬─────┬─────┬─────┐ ┴ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ └─────┴─────┴─────┴─────┴─────┴─────┘ GPU hours └── paid ahead ─┘
価格単位
GPU 1 時間あたり USD 9.58
残高から 3 時間分ずつ前払いで支払われます。
リクエスト
モデルとトラフィックをお知らせください
メールでご返信します。 このフォームにはトークン、キー、重みを送信しないでください。