Abbiamo una novità. Ora offriamo la nostra console web. Apri la console e digita ssh root@your-server-ip per raggiungere qualsiasi tuo server direttamente dal browser. Non serve nessuna app SSH.
Quando esegui da solo un modello a pesi aperti, i tuoi prompt e documenti vanno a un server che affitti, non a un'API di terzi. La domanda che decide tutto è se il modello entra nella memoria della GPU. Questa pagina ti dà il calcolo e il server corrispondente, con prezzi reali.
Regola pratica: pesi = parametri × byte per peso, più circa il 20% per la memoria di lavoro. Le esigenze reali variano con la lunghezza del contesto, la dimensione del batch e il software.
| Modello e precisione | Memoria stimata | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B parametri, 16 bit | ~20 GB | entra | entra | entra | entra |
| 8B parametri, 8 bit | ~10 GB | entra | entra | entra | entra |
| 8B parametri, 4 bit | ~5 GB | entra | entra | entra | entra |
| 32B parametri, 16 bit | ~77 GB | no | no | entra | entra |
| 32B parametri, 8 bit | ~39 GB | no | no | entra | entra |
| 32B parametri, 4 bit | ~20 GB | entra | entra | entra | entra |
| 70B parametri, 16 bit | ~168 GB | no | no | no | no |
| 70B parametri, 8 bit | ~84 GB | no | no | no | entra |
| 70B parametri, 4 bit | ~42 GB | no | no | entra | entra |
| 120B parametri, 16 bit | ~288 GB | no | no | no | no |
| 120B parametri, 8 bit | ~144 GB | no | no | no | entra |
| 120B parametri, 4 bit | ~72 GB | no | no | entra | entra |
Sono stime per la pianificazione, non benchmark. Un modello che entra a malapena lascia poco spazio ai prompt lunghi, quindi lascia un margine. I modelli quantizzati perdono un po' di qualità; prova il tuo.
I prezzi cambiano con la sede scelta. Una durata più lunga ha fino al 50% di sconto.
or $54.63/mo on a 12-month term (−50%)
Adatto a modelli piccoli e medi, e 32B a 4 bit.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Più margine per il contesto e per modelli quantizzati più grandi.
Configure and orderor $375.25/mo on a 12-month term (−50%)
Un modello da 70B a 4 bit, oppure a 8 bit per quelli di taglia media.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Modelli molto grandi e modelli di taglia media a 16 bit.
Configure and orderQualunque cosa tu scelga, non esporre l'API del modello a internet senza autenticazione. La nostra guida è in eseguire LLM su un server GPU.
I tuoi prompt restano su un server che affitti e nessun altro condivide la GPU. Non vengono inviati a un fornitore di modelli. Il server è comunque ospitato da noi, non monitoriamo né registriamo ciò che accade dentro i tuoi server, e le regole dei nostri termini si applicano a tutto ciò che esegui, compreso ciò che generi e pubblichi. Sei responsabile del rispetto della licenza del modello che scarichi.
Sì, se rispetti la licenza del modello. Scegli un server la cui memoria GPU contenga il modello con un po' di margine, installa uno strumento di serving come Ollama o vLLM e proteggi l'API.
Circa 35 GB di pesi a 4 bit, 70 GB a 8 bit e 140 GB a 16 bit, più circa il 20% per la memoria di lavoro. Secondo questa stima, un modello da 70B a 4 bit richiede una H100 da 80 GB, non una scheda da 24 o 32 GB.
Il server con RTX 4090 li ospita a qualsiasi precisione della tabella, e il più economico costa $109.25 al mese. I modelli più grandi richiedono più memoria.
No. Significa che scegli ed esegui il modello sul tuo server. Ciò che generi e pubblichi è comunque coperto dalla legge e dai nostri termini.
No. Genera un login e paga in cripto. Vedi server GPU senza KYC.
Ogni mese dal tuo saldo prepagato, con fino al 50% di sconto sulle durate più lunghe. Vedi i prezzi.
Scegli una GPU, paga in cripto, accedi come root. Senza ID, senza carta.
