Temos uma novidade. Agora oferecemos nosso próprio console web. Abra o console e digite ssh root@your-server-ip para acessar qualquer servidor seu direto do navegador. Não é preciso um app de SSH.
Quando você executa um modelo de pesos abertos por conta própria, seus prompts e documentos vão para um servidor que você aluga, não para uma API de terceiros. A pergunta que decide tudo é se o modelo cabe na memória da GPU. Esta página mostra a conta e o servidor correspondente, com preços reais.
Regra prática: pesos = parâmetros × bytes por peso, mais cerca de 20% para memória de trabalho. As necessidades reais variam com o tamanho do contexto, o tamanho do lote e o software.
| Modelo e precisão | Memória estimada | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B parâmetros, 16 bits | ~20 GB | cabe | cabe | cabe | cabe |
| 8B parâmetros, 8 bits | ~10 GB | cabe | cabe | cabe | cabe |
| 8B parâmetros, 4 bits | ~5 GB | cabe | cabe | cabe | cabe |
| 32B parâmetros, 16 bits | ~77 GB | no | no | cabe | cabe |
| 32B parâmetros, 8 bits | ~39 GB | no | no | cabe | cabe |
| 32B parâmetros, 4 bits | ~20 GB | cabe | cabe | cabe | cabe |
| 70B parâmetros, 16 bits | ~168 GB | no | no | no | no |
| 70B parâmetros, 8 bits | ~84 GB | no | no | no | cabe |
| 70B parâmetros, 4 bits | ~42 GB | no | no | cabe | cabe |
| 120B parâmetros, 16 bits | ~288 GB | no | no | no | no |
| 120B parâmetros, 8 bits | ~144 GB | no | no | no | cabe |
| 120B parâmetros, 4 bits | ~72 GB | no | no | cabe | cabe |
São estimativas para planejamento, não benchmarks. Um modelo que mal cabe deixa pouco espaço para prompts longos, então deixe margem. Modelos quantizados perdem alguma qualidade; teste o seu.
Os preços mudam com a localização escolhida. Um prazo mais longo tem até 50% de desconto.
or $54.63/mo on a 12-month term (−50%)
Comporta modelos pequenos e médios, e 32B em 4 bits.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Mais folga para contexto e modelos quantizados maiores.
Configure and orderor $375.25/mo on a 12-month term (−50%)
Um modelo de 70B em 4 bits, ou em 8 bits para os de porte médio.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Modelos muito grandes e modelos médios em 16 bits.
Configure and orderSeja qual for a sua escolha, não exponha a API do modelo à internet sem autenticação. Nosso passo a passo está em executar LLMs em um servidor GPU.
Seus prompts ficam em um servidor que você aluga e ninguém mais compartilha a GPU. Eles não são enviados a um fornecedor de modelos. O servidor continua hospedado por nós, não monitoramos nem registramos o que acontece dentro dos seus servidores, e as regras dos nossos termos se aplicam a tudo o que você executa, incluindo o que você gera e publica. Você é responsável por seguir a licença do modelo que baixar.
Sim, se você seguir a licença do modelo. Escolha um servidor cuja memória de GPU comporte o modelo com alguma margem, instale uma ferramenta de serving como Ollama ou vLLM e proteja a API.
Aproximadamente 35 GB de pesos em 4 bits, 70 GB em 8 bits e 140 GB em 16 bits, mais cerca de 20% para memória de trabalho. Por essa estimativa, um modelo de 70B em 4 bits precisa de uma H100 de 80 GB, não de uma placa de 24 ou 32 GB.
O servidor com RTX 4090 comporta qualquer precisão da tabela, e o mais barato custa $109.25 por mês. Modelos maiores precisam de mais memória.
Não. Significa que você escolhe e executa o modelo no seu próprio servidor. O que você gera e publica continua coberto pela lei e pelos nossos termos.
Não. Gere um login e pague em cripto. Veja servidores GPU sem KYC.
Mensalmente a partir do seu saldo pré-pago, com até 50% de desconto em prazos mais longos. Veja os preços.
Escolha uma GPU, pague em cripto, entre como root. Sem ID, sem cartão.
