У нас новое обновление. Теперь у нас есть собственная веб-консоль. Откройте консоль и введите ssh root@your-server-ip, чтобы подключиться к любому своему серверу прямо из браузера. SSH-клиент не нужен.
Когда вы запускаете модель с открытыми весами сами, ваши запросы и документы попадают на арендуемый вами сервер, а не в стороннее API. Всё решает один вопрос: помещается ли модель в память GPU. На этой странице приведены расчёты и подходящий сервер с реальными ценами.
Правило: веса = параметры × байт на вес плюс около 20% на рабочую память. Реальные потребности зависят от длины контекста, размера батча и программного обеспечения.
| Модель и точность | Оценка памяти | 1x RTX 4090 (24 ГБ) | 1x RTX 5090 (32 ГБ) | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8B параметров, 16 бит | ~20 GB | помещается | помещается | помещается | помещается |
| 8B параметров, 8 бит | ~10 GB | помещается | помещается | помещается | помещается |
| 8B параметров, 4 бита | ~5 GB | помещается | помещается | помещается | помещается |
| 32B параметров, 16 бит | ~77 GB | no | no | помещается | помещается |
| 32B параметров, 8 бит | ~39 GB | no | no | помещается | помещается |
| 32B параметров, 4 бита | ~20 GB | помещается | помещается | помещается | помещается |
| 70B параметров, 16 бит | ~168 GB | no | no | no | no |
| 70B параметров, 8 бит | ~84 GB | no | no | no | помещается |
| 70B параметров, 4 бита | ~42 GB | no | no | помещается | помещается |
| 120B параметров, 16 бит | ~288 GB | no | no | no | no |
| 120B параметров, 8 бит | ~144 GB | no | no | no | помещается |
| 120B параметров, 4 бита | ~72 GB | no | no | помещается | помещается |
Это оценки для планирования, а не бенчмарки. Модель, которая едва помещается, оставляет мало места для длинных запросов, поэтому оставляйте запас. Квантованные модели теряют часть качества; проверьте свою.
Цены зависят от выбранной локации. Более длительный срок даёт скидку до 50%.
or $54.63/mo on a 12-month term (−50%)
Подходит для малых и средних моделей, а также 32B в 4 бита.
Configure and orderor $87.88/mo on a 12-month term (−50%)
Больше запаса для контекста и крупных квантованных моделей.
Configure and orderor $375.25/mo on a 12-month term (−50%)
Модель 70B в 4 бита или средние модели в 8 бит.
Configure and orderor $707.75/mo on a 12-month term (−50%)
Очень крупные модели и средние модели в 16 бит.
Configure and orderЧто бы вы ни выбрали, не открывайте API модели в интернет без аутентификации. Наша инструкция — в статье запуск LLM на GPU-сервере.
Ваши запросы остаются на арендуемом вами сервере, и никто больше не делит с вами GPU. Они не отправляются поставщику модели. Сервер по-прежнему размещён у нас, мы не отслеживаем и не журналируем происходящее внутри ваших серверов, а правила наших условий распространяются на всё, что вы запускаете, включая то, что вы генерируете и публикуете. Вы отвечаете за соблюдение лицензии скачанной модели.
Да, если вы соблюдаете лицензию модели. Выберите сервер, память GPU которого вмещает модель с некоторым запасом, установите инструмент обслуживания, например Ollama или vLLM, и защитите API.
Примерно 35 ГБ весов в 4 бита, 70 ГБ в 8 бит и 140 ГБ в 16 бит, плюс около 20% на рабочую память. По этой оценке модели 70B в 4 бита нужен H100 на 80 ГБ, а не карта на 24 или 32 ГБ.
Сервер с RTX 4090 вмещает их при любой точности из таблицы, и самый дешёвый стоит $109.25 в месяц. Более крупным моделям нужно больше памяти.
Нет. Это значит, что вы выбираете и запускаете модель на собственном сервере. На то, что вы генерируете и публикуете, по-прежнему распространяются закон и наши условия.
Нет. Сгенерируйте логин и платите криптовалютой. См. GPU-серверы без KYC.
Ежемесячно с предоплаченного баланса, со скидкой до 50% на более длинные сроки. См. цены.
Выберите GPU, платите криптовалютой, входите как root. Без ID, без карты.
