Wir haben ein neues Update. Ab sofort bieten wir unsere eigene Web-Konsole. Öffne die Konsole und gib ssh root@your-server-ip ein, um jeden deiner Server direkt im Browser zu erreichen. Keine SSH-App nötig.
Wenn Sie ein Open-Weight-Modell selbst betreiben, gehen Ihre Prompts und Dokumente an einen Server, den Sie mieten, nicht an eine Drittanbieter-API. Die Frage, die alles entscheidet, ist, ob das Modell in den GPU-Speicher passt. Diese Seite liefert Ihnen die Rechnung und den passenden Server, mit echten Preisen.
Faustregel: Gewichte = Parameter × Bytes pro Gewicht, plus etwa 20 % für den Arbeitsspeicher. Der tatsächliche Bedarf hängt von Kontextlänge, Batch-Größe und Software ab.
| Modell und Genauigkeit | Geschätzter Speicher | 1x RTX 4090 (24 GB) | 1x RTX 5090 (32 GB) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B Parameter, 16 Bit | ~20 GB | passt | passt | passt | passt |
| 8B Parameter, 8 Bit | ~10 GB | passt | passt | passt | passt |
| 8B Parameter, 4 Bit | ~5 GB | passt | passt | passt | passt |
| 32B Parameter, 16 Bit | ~77 GB | no | no | passt | passt |
| 32B Parameter, 8 Bit | ~39 GB | no | no | passt | passt |
| 32B Parameter, 4 Bit | ~20 GB | passt | passt | passt | passt |
| 70B Parameter, 16 Bit | ~168 GB | no | no | no | no |
| 70B Parameter, 8 Bit | ~84 GB | no | no | no | passt |
| 70B Parameter, 4 Bit | ~42 GB | no | no | passt | passt |
| 120B Parameter, 16 Bit | ~288 GB | no | no | no | no |
| 120B Parameter, 8 Bit | ~144 GB | no | no | no | passt |
| 120B Parameter, 4 Bit | ~72 GB | no | no | passt | passt |
Das sind Schätzungen zur Planung, keine Benchmarks. Ein Modell, das gerade so passt, lässt wenig Platz für lange Prompts, planen Sie also Reserve ein. Quantisierte Modelle verlieren etwas Qualität; testen Sie Ihres.
Die Preise ändern sich mit dem gewählten Standort. Eine längere Laufzeit bringt bis zu 50 % Rabatt.
or $54.63/mo on a 12-month term (−50%)
Passt für kleine und mittelgroße Modelle sowie 32B mit 4 Bit.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Mehr Spielraum für Kontext und größere quantisierte Modelle.
Configure and orderor $375.25/mo on a 12-month term (−50%)
Ein 70B-Modell mit 4 Bit oder mittelgroße Modelle mit 8 Bit.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Sehr große Modelle und mittelgroße Modelle mit 16 Bit.
Configure and orderWofür Sie sich auch entscheiden: Setzen Sie die Modell-API nicht ohne Authentifizierung dem Internet aus. Unsere Anleitung finden Sie unter LLMs auf einem GPU-Server betreiben.
Ihre Prompts bleiben auf einem Server, den Sie mieten, und niemand sonst teilt sich die GPU. Sie werden nicht an einen Modellanbieter gesendet. Der Server wird weiterhin von uns gehostet, wir überwachen oder protokollieren nicht, was in Ihren Servern geschieht, und die Regeln in unseren Bedingungen gelten für alles, was Sie betreiben, einschließlich dessen, was Sie erzeugen und veröffentlichen. Sie sind dafür verantwortlich, die Lizenz des heruntergeladenen Modells einzuhalten.
Ja, wenn Sie die Lizenz des Modells einhalten. Wählen Sie einen Server, dessen GPU-Speicher mit etwas Reserve zum Modell passt, installieren Sie ein Serving-Tool wie Ollama oder vLLM und sichern Sie die API ab.
Grob 35 GB Gewichte bei 4 Bit, 70 GB bei 8 Bit und 140 GB bei 16 Bit, plus etwa 20 % für den Arbeitsspeicher. Nach dieser Schätzung braucht ein 70B-Modell mit 4 Bit eine H100 mit 80 GB, keine Karte mit 24 oder 32 GB.
Der RTX-4090-Server fasst sie in jeder Genauigkeit der Tabelle, und der günstigste kostet $109.25 im Monat. Größere Modelle brauchen mehr Speicher.
Nein. Es bedeutet, dass Sie das Modell wählen und auf Ihrem eigenen Server betreiben. Was Sie erzeugen und veröffentlichen, unterliegt weiterhin dem Gesetz und unseren Bedingungen.
Nein. Erzeugen Sie einen Login und zahlen Sie in Krypto. Siehe GPU-Server ohne KYC.
Monatlich von Ihrem Prepaid-Guthaben, mit bis zu 50 % Rabatt bei längeren Laufzeiten. Siehe Preise.
Wählen Sie eine GPU, zahlen Sie in Krypto, melden Sie sich als Root an. Keine ID, keine Karte.
