新しいアップデートがあります。独自のウェブコンソールを提供開始しました。コンソールを開いて ssh root@your-server-ip と入力すると、お持ちのどのサーバーにもブラウザから直接接続できます。SSH アプリは不要です。
目安：重み = パラメータ数 × 重みあたりのバイト数、さらに作業用メモリとして約20%。実際の必要量は、コンテキスト長、バッチサイズ、ソフトウェアによって変わります。
| モデルと精度 | 推定メモリ | 1x RTX 4090（24 GB） | 1x RTX 5090（32 GB） | 1x H100 (80 GB) | 2x H100 (160 GB) |
|---|---|---|---|---|---|
| 8Bパラメータ、16ビット | ~20 GB | 収まる | 収まる | 収まる | 収まる |
| 8Bパラメータ、8ビット | ~10 GB | 収まる | 収まる | 収まる | 収まる |
| 8Bパラメータ、4ビット | ~5 GB | 収まる | 収まる | 収まる | 収まる |
| 32Bパラメータ、16ビット | ~77 GB | no | no | 収まる | 収まる |
| 32Bパラメータ、8ビット | ~39 GB | no | no | 収まる | 収まる |
| 32Bパラメータ、4ビット | ~20 GB | 収まる | 収まる | 収まる | 収まる |
| 70Bパラメータ、16ビット | ~168 GB | no | no | no | no |
| 70Bパラメータ、8ビット | ~84 GB | no | no | no | 収まる |
| 70Bパラメータ、4ビット | ~42 GB | no | no | 収まる | 収まる |
| 120Bパラメータ、16ビット | ~288 GB | no | no | no | no |
| 120Bパラメータ、8ビット | ~144 GB | no | no | no | 収まる |
| 120Bパラメータ、4ビット | ~72 GB | no | no | 収まる | 収まる |
これは計画用の推定値であり、ベンチマークではありません。ぎりぎり収まるモデルは長いプロンプトの余地がほとんどないため、余裕を持たせてください。量子化したモデルは品質が多少落ちるので、ご自身で確かめてください。
価格は選ぶ拠点によって変わります。長期契約は最大50%割引です。
or $54.63/mo on a 12-month term (−50%)
小型・中型モデルと、4ビットの32Bに適しています。
Configure and orderor $87.88/mo on a 12-month term (−50%)
コンテキストやより大きな量子化モデルに、より余裕があります。
Configure and orderor $375.25/mo on a 12-month term (−50%)
4ビットの70Bモデル、または中型モデルの8ビット。
Configure and orderor $707.75/mo on a 12-month term (−50%)
非常に大きなモデルと、16ビットの中型モデル。
Configure and orderどれを選んでも、認証なしでモデルAPIをインターネットに公開しないでください。手順はGPUサーバーでLLMを動かすにあります。
プロンプトは借りているサーバーに留まり、GPUを他の誰とも共有しません。モデルのベンダーには送信されません。サーバーは引き続き当社がホスティングしており、お客様のサーバー内部を監視・記録することはなく、当社の利用規約のルールは、生成して公開するものを含め、実行するすべてに適用されます。ダウンロードしたモデルのライセンスを守る責任はお客様にあります。
はい、モデルのライセンスを守る限り可能です。GPUメモリがモデルを余裕を持って収められるサーバーを選び、OllamaやvLLMのようなサービング用ツールをインストールして、APIを保護してください。
重みはおよそ4ビットで35 GB、8ビットで70 GB、16ビットで140 GB、さらに作業用メモリとして約20%です。この推定では、4ビットの70Bモデルには24 GBや32 GBのカードではなく、80 GBのH100が必要です。
RTX 4090サーバーは、表のどの精度でもそれらを収められ、最も安いものは月額$109.25です。より大きなモデルにはより多くのメモリが必要です。
いいえ。モデルを自分で選び、自分のサーバーで動かすという意味です。生成して公開するものは、引き続き法律と当社の利用規約の対象です。
いいえ。ログインを生成して暗号資産で支払ってください。KYC不要のGPUサーバーをご覧ください。
プリペイド残高から毎月請求され、長い期間では最大50%割引になります。料金をご覧ください。
