Serveurs dédiés GPU · NVIDIA Ampere · au mois
Nos serveurs GPU RTX 3090, 3080, 3070 sont des machines bare-metal louées au mois, avec le GPU complet transmis à votre propre système d’exploitation. Choisissez l’un des cinq GPU RTX 30 dotés de 8 à 24 Go de mémoire, sur une machine Intel Xeon ou AMD EPYC, à partir de $209.93 par mois tout compris.
Le prix de chaque GPU ci-dessous correspond au serveur complet : processeur, mémoire, disques, le port et une adresse IPv4, plus la ligne mensuelle propre au GPU. Choisissez le GPU selon la mémoire dont votre travail a besoin, puis modifiez tout le reste dans le configurateur.
Les cinq GPU
Les cinq partagent l’architecture Ampere, le pilote et l’ensemble des fonctionnalités : cœurs Tensor de 3e génération, cœurs RT de 2e génération, PCIe 4.0. Ce qui les distingue, c’est la taille et la bande passante de la mémoire. Partez de la mémoire dont vous avez besoin et arrêtez-vous au premier GPU qui la contient.
8 GB GDDR6
$209.93/mo, complete
GPU $139/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
8 GB GDDR6X
$222.47/mo, complete
GPU $149/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
10 GB GDDR6X
$229.93/mo, complete
GPU $159/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
12 GB GDDR6X
$272.47/mo, complete
GPU $199/mo, plus the machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
24 GB GDDR6X
$309.93/mo, complete
GPU $239/mo, plus the machine:
Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps
Chaque prix correspond à la machine la moins chère acceptant ce GPU, telle que le configurateur l’ouvre. Le bouton ouvre cette machine avec le GPU déjà sélectionné ; d’autres processeurs, plus de mémoire, des disques plus grands et un port plus rapide y sont tarifés. Les configurations de Bucarest sont facturées en euros, et le configurateur affiche ce prix lorsque vous choisissez la ville.
Dimensionnement
Pour l'inférence, la première question est la mémoire, pas la vitesse. Les poids d'un modèle occupent paramètres fois octets par paramètre, et le GPU a besoin d'un quart à une moitié en plus pour le cache KV et l'environnement d'exécution. Le tableau applique cette règle à chaque taille de mémoire sur cette page.
| Model size (weights) | RTX 3070, RTX 3070 Ti8 GB | RTX 308010 GB | RTX 3080 Ti12 GB | RTX 309024 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: No8-bit: No |
C'est la RTX 3080 d'origine avec 8 704 cœurs CUDA. NVIDIA a ensuite vendu une version 12 Go avec 8 960 cœurs sous le même nom, et de nombreuses annonces citent sa mémoire. Dimensionnement face à 10 Go : un modèle 8B en 8 bits se charge avec peu de place restante pour le contexte, et un modèle 13B en 8 bits ne se charge pas du tout.
La RTX 3090 est le seul GPU RTX 30 avec 24 Go. Nos machines Xeon plus grandes acceptent jusqu'à 3 d'entre elles, 72 Go au total, que llama.cpp ou vLLM peuvent répartir sur un modèle. Deux contiennent un modèle 70B en 4 bits, de justesse. Pour un GPU avec plus de mémoire, voir tous les GPU que nous installons ; pour des plans modèle par modèle, serveurs LLM.
Plateformes
Chaque GPU RTX 30 possède une interface PCIe 4.0. Sur les machines Intel Xeon, elle fonctionne en PCIe 3.0 ; la machine AMD EPYC offre à la RTX 3080 une liaison PCIe 4.0 complète. Une fois qu'un modèle ou une scène est chargé dans la mémoire du GPU, la liaison importe peu. Elle compte pour les boucles d'entraînement qui diffusent des lots depuis la mémoire système à chaque étape.
| Machine | PCIe link | RTX 3070 | RTX 3070 Ti | RTX 3080 | RTX 3080 Ti | RTX 3090 |
|---|---|---|---|---|---|---|
| Intel Xeon E5-2600 v1/v2from $70.93/mo without a GPU | PCIe 3.0 | up to 1 | not offered | up to 2 | not offered | up to 2 |
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 2 | up to 2 | up to 2 | up to 2 | up to 3 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | not offered | not offered | up to 1 | not offered | not offered |
Les prix des machines correspondent à la configuration la moins chère de chaque ligne sans GPU. Les serveurs RTX 30 peuvent être commandés à New York, Miami, San Francisco and Bucharest. Les machines d'Amsterdam ne sont pas proposées avec ces GPU. L'emplacement détermine la latence vers vos utilisateurs et la loi sur la protection des données qui s'applique ; centres de données décrit chaque bâtiment.
Charges de travail
Une RTX 3090 sert un modèle 13B en 8 bits avec de la place pour le contexte, ou un modèle 30B en 4 bits avec un contexte court, derrière votre propre API avec Ollama, llama.cpp ou vLLM. Rien de ce que vous envoyez ne quitte votre machine.
Blender Cycles effectue le rendu sur CUDA ou OptiX, et les cœurs RT accélèrent le lancer de rayons. Installez le système d'exploitation requis par votre moteur de rendu et effectuez le rendu pendant la nuit à un prix mensuel fixe.
Le pilote GeForce exécute DirectX, Vulkan et OpenGL comme un ordinateur de bureau. Lancez un serveur de jeu, un hôte de cloud gaming ou un poste de travail distant avec un GPU dédié derrière.
Chaque GPU possède un encodeur NVENC pour H.264 et HEVC et un décodeur NVDEC. NVIDIA autorise jusqu'à 8 sessions d'encodage simultanées par système sur les GPU GeForce, avec le pilote 550.54.14 ou ultérieur.
Livraison et conditions
Rien à installer : le serveur est monté et remis. Serveurs instantanés répertorie ce qui est en rack en ce moment.
Un technicien installe le GPU, construit la matrice de disques et installe le système d'exploitation. De la mémoire supplémentaire ou d'autres disques sont ajoutés lors de la même visite.
Chaque délai commence une fois le paiement et la vérification anti-fraude validés. La plupart des commandes sont validées en quelques heures ; une première commande sur un nouveau compte peut prendre plus de temps.
Les propriétaires listent également des machines RTX 30 sur notre marché, chacune à un prix mensuel fixé par le propriétaire. Les annonces indiquées comme provenant de notre société sœur, Primcast, sont louées sur primcast.com.
Spécifications
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | Power |
|---|---|---|---|---|---|---|
| RTX 3070 | 8 GB GDDR6 | 256-bit | 448 GB/s | 5,888 | 1.73 GHz | 220 W |
| RTX 3070 Ti | 8 GB GDDR6X | 256-bit | 608 GB/s | 6,144 | 1.77 GHz | 290 W |
| RTX 3080 | 10 GB GDDR6X | 320-bit | 760 GB/s | 8,704 | 1.71 GHz | 320 W |
| RTX 3080 Ti | 12 GB GDDR6X | 384-bit | 912 GB/s | 10,240 | 1.67 GHz | 350 W |
| RTX 3090 | 24 GB GDDR6X | 384-bit | 936 GB/s | 10,496 | 1.70 GHz | 350 W |
Chiffres issus de la comparaison de la série GeForce RTX 30 de NVIDIA et de sa matrice de prise en charge de l'encodage et du décodage vidéo. Les prix, machines, villes et comptages par machine sont lus depuis notre catalogue de commandes, celui que la caisse facture.
Réponses
Un serveur RTX 3090 complet démarre à $309.93 par mois. Cela correspond au GPU à $239 plus la machine la moins chère qui l'accepte : Intel Xeon E5-2630L, 6 cores, 2.00 GHz · 32 GB DDR3 · 2 × SATA 500 GB (RAID 1) · 500 Mbps. La configuration RTX 30 la plus abordable est la RTX 3070 à $209.93. Un GPU installé sur commande ajoute des frais d'installation uniques de $29.
La version 10 Go, avec 8 704 cœurs CUDA et 760 Go/s de bande passante mémoire. Un serveur RTX 3080 complet démarre à $229.93 par mois. Si votre modèle nécessite 12 Go, optez pour la RTX 3080 Ti, qui dispose de 12 Go sur un bus 384 bits.
Oui. Nos plus grandes machines Xeon acceptent jusqu'à 3 RTX 3090, soit 72 Go de mémoire GPU au total, et le configurateur indique le maximum que chaque machine peut recevoir. Chaque GPU est une ligne mensuelle distincte, le prix augmente donc du montant du GPU pour chaque unité ajoutée.
Pour l'inférence et le fine-tuning QLoRA, oui. Ses 24 Go permettent de charger un modèle 13B en 8 bits avec de la place pour le contexte, ou un modèle 30B en 4 bits avec un contexte court. Il n'a pas de mémoire ECC, donc pour les longs entraînements sans points de contrôle, un GPU de calcul est un choix plus sûr.
Environ 30 minutes après validation de votre commande lorsqu'une machine équipée de ce GPU est déjà en rack ; celles-ci sont listées sur la page des serveurs instantanés. Lorsque nous installons le GPU sur la machine que vous avez configurée, comptez de 4 à 24 heures.
Non. La machine est louée à un seul compte et le GPU est transmis directement à votre système d'exploitation. Il n'y a ni hyperviseur, ni profil vGPU, ni partage temporel, et vous installez le pilote NVIDIA et la version CUDA de votre choix.
Non. Les GPU RTX 30 décodent l'AV1 mais n'encodent qu'en H.264 et HEVC, sur un seul encodeur NVENC par GPU. L'encodage matériel AV1 commence avec la série RTX 40.
À New York, Miami, San Francisco and Bucharest, sur le réseau propre de Server Room. Les machines qui acceptent ces GPU n'y sont pas proposées avec eux à Amsterdam.
Choisissez le GPU selon la mémoire, puis le processeur, la mémoire, les disques et la ville. Le configurateur affiche le prix de chaque modification au fur et à mesure.
Tous les GPU que nous installons · Le PC de bureau RTX 3050 · Serveurs RTX 40 · En rack dès maintenant