Implantações dedicadas: Seu modelo, ajustado ao kernel de GPU
Traga seus próprios pesos ou qualquer modelo da Hugging Face para um endpoint dedicado, com cobrança por hora de GPU.
╔══ ═══════════════╗ your endpoint ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ░░ ░░░▓░░░▓░░░▓░░░▓░░░▓░ weights ║ ║ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ ║ ║ ───┐ a model we list ║ ║ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ├ ▶ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠═ ▶ ──────┤ your weights ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ │ ║ ║ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ──────┘ Hugging Face kernels ▀▄ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ║ ║ ████████████████████████████████ ║ ║ hardware ██ ████████████████████ ║ ║ ▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀▀ ║ ║ tune → measure → ship ╚══ ═══════╝
─────┐ a model we list ────────┤ your weights ────────┤ Hugging Face ▼ ╔══ ═══════════════╗ your endpoint ▓░ ░▓░░░▓░░░▓░░░▓░░░▓░░░ weights ║ ║ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ ║ ║ ║ ║ tokens serving ▌▌ ▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ╠ ▶ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌ ║ ║ ║ ║ kernels ▄▀ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ ║ ║ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ ║ ║ ║ ║ hardware ██ ████████████████████ ║ ║ tune → measure → ship ╚══ ═══════╝
Qualquer modelo do Hugging Face
Ajustamos, implantamos e esprememos a GPU
O objetivo: a forma mais rápida e mais barata de servir o seu modelo.
┌─ ────────┐ ┌─ ────────────┐ ┌─ ─────────┐ org/name tune squeeze ┌─ deploy ──────────┐ │ ├─┐ │ │ │ │ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ GPU ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ░░▓░░░▓░░░▓░░░▓░░ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ │ ▓░░░▓░░░▓░░░▓░░░▓ │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ ├─── │ ├─── │ ├─── ▶ ▶ ▶ tokens │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ ├───▶ │ │ │ │ │ │ │ ───────────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ │ │ │ │ │ │ ──────── │ ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ │ │ │ │ ┤ └──┴──┴──┴──┴──┴── ▌▌▌▌ ▌▌▌ ▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ │ │ └─┬─────────────────┘ │ │ │ │ │ │ │ └───────────────────┘ └───────────────────┘ └───────────────────┘ └───────────────────┘
┌─ ───────────────────────────┐ org/name │ ├─┐ ▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░ │ │ │ ░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░░░▓░ └─┬────────────────────────────────────┘ │ └─────────────────┬────────────────────┘ ▼ ┌─ ─────────────────────────────────┐ tune │ │ ▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀ │ │ ▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄▀▄ └───────────────────┬────────────────────┘ ▼ ┌─ deploy ───────────────────────────────┐ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │ ▌▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌▌ ▌▌▌▌ ▌▌▌ ▌▌▌▌▌▌ ▌▌▌▌ │ │└───────────────────┬────────────────────┘ ▼ ┌─ ──────────────────────────────┐ squeeze │ │ GPU │ │ │ │ └───────────────────┬────────────────────┘ ▼ tokens
O que você recebe
Um endpoint, ajustado para o seu modelo
┌─── serves you only ────────────────────┐ │ │ │ │ your own capacity │ │ │ │ │ │ │ │ │ ▄▄▄ │ │ │ ▄██████▄ ▄████▄ │ │ │ ▄██████████████████▄ │ │ │ ▄██████████████████████▄ │ │ │ ▄██████████████████████████▄ │ │ │ ▄▄▄▄███████████████████████████████▄ │ │ └──────┬───────┬───────┬───────┬────── │ │ your traffic over a day │ │└────────────────────────────────────────┘
Seu endpoint
Capacidade apenas para o seu workspace.
your endpoint ▲ ship ┌─ ────────── ─┐ │ tune measure │ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┘ ▶ ▌▌▌ ▌▌▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ ▌▌▌ ▌▌▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ │ ─ ├─┐ ▶ ▌▌▌▌▌ ▌▌▌ ▀▄▀▄▀▄▀▄▀▄▀▄ │ │ │ ▌▌▌▌▌ ▌▌▌ ▄▀▄▀▄▀▄▀▄▀▄▀ └───────────────────────────┘ │ ▼ reverted
Ajuste
Primeiro ele serve, e então o ajustamos, sem tempo de inatividade.
┌─ ──┐ your balance │ │ ░░░░░░░░░░░░░░░░░ └──────── ────────┘ ┬ │ │ now ▼ │ ┌─────┬─────┬── ──┬─────┬─────┬─────┐ ┴ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ │ │ │ │ │ │ │ ▓▓▓▓▓ └─────┴─────┴─────┴─────┴─────┴─────┘ GPU hours └── paid ahead ─┘
Unidade de preço
USD 9.58 por hora de GPU
Pago de três em três horas pelo seu saldo.
Solicitação
Diga o modelo e o tráfego
Respondemos por e-mail. Não envie tokens, chaves ou pesos neste formulário.