Serveurs dédiés GPU · NVIDIA Ada Lovelace · au mois
Notre serveur dédié RTX 4090 utilise la GeForce RTX 4090D, et non la RTX 4090 complète. Il conserve les 24 Go de GDDR6X de la 4090, sa bande passante mémoire de 1 008 Go/s et ses deux encodeurs AV1, et compte 14 592 cœurs CUDA là où la 4090 en a 16 384. Un serveur complet avec une carte démarre à $372.47 par mois.
Avec notre hébergement de serveur RTX 4090, vous louez la machine entière. Le GPU est transmis directement à votre propre système d’exploitation, avec un accès root et la console hors bande du serveur. Le prix affiché correspond au serveur complet : processeur, mémoire, disques, le port et une adresse IPv4, plus la ligne mensuelle du GPU lui-même.
RTX 4090D vs RTX 4090
NVIDIA a lancé la RTX 4090D le 28 décembre 2023, après qu’une règle d’exportation américaine a interdit la vente de la RTX 4090 en Chine. C’est la même puce AD102 avec moins de multiprocesseurs de flux activés : 114 au lieu de 128. La mémoire, la fréquence boost et les moteurs vidéo sont identiques ; la limite de puissance de la carte est un peu plus basse.
| Specification | RTX 4090 | RTX 4090Dwhat we fit |
|---|---|---|
| CUDA cores | 16,384 | 14,592 lower |
| Memory | 24 GB GDDR6X | 24 GB GDDR6X same |
| Memory bus | 384-bit | 384-bit same |
| Memory bandwidth | 1,008 GB/s | 1,008 GB/s same |
| L2 cache | 72 MB | 72 MB same |
| Boost clock | 2.52 GHz | 2.52 GHz same |
| Video encoders | 2 NVENC, AV1 | 2 NVENC, AV1 same |
| GPU power | 450 W | 425 W lower |
Tout ce qui est limité par la taille ou la vitesse de la mémoire. Un modèle qui tient dans 24 Go sur une 4090 tient sur une 4090D, et la génération de jetons à partir de celui-ci est limitée par les mêmes 1 008 Go/s. L’encodage vidéo utilise la même paire de moteurs NVENC. Le pilote, CUDA, PyTorch, Blender et tous les autres outils la traitent comme un GPU GeForce Ada Lovelace.
Les charges liées au débit des shaders : grands lots d’entraînement, rendu Cycles et OptiX, traitement des invites sur de longues entrées. La 4090D a 11 % de cœurs CUDA en moins à la même fréquence boost de 2,52 GHz, attendez-vous donc à ce qu’elle se situe derrière une 4090 jusqu’à cette marge sur ces tâches. La puissance de la carte est de 425 W contre 450 W.
Les configurations
Voici les deux GPU GeForce RTX 40 que notre catalogue de commandes installe dans des serveurs en rack. La RTX 4090D est le choix à 24 Go et s’empile dans une machine. La RTX 4070 a 12 Go et le même encodeur AV1 de 8e génération, pour les tâches qui n’ont pas besoin de plus de mémoire.
24 GB GDDR6X · the GPU this page is about
$372.47/mo for the complete server
GPU $299/mo, in this machine:
Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps
12 GB GDDR6X · the 12 GB step
$262.67/mo for the complete server
GPU $179/mo, in this machine:
Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps
Chaque prix correspond à la machine la moins chère acceptant ce GPU, telle que le configurateur l’ouvre, et le bouton ouvre cette machine avec le GPU déjà sélectionné. D’autres processeurs, plus de mémoire, des disques plus grands, un port plus rapide et davantage de GPU y sont tarifés. Les configurations de Bucarest sont facturées en euros ; le configurateur change de devise lorsque vous choisissez la ville.
Dimensionnement
Dimensionnez l'inférence par la mémoire d'abord. Les poids représentent les paramètres multipliés par les octets par paramètre, et les GPU ont besoin d'un quart à la moitié de plus pour le cache KV et l'exécution. Le tableau applique cette règle à la RTX 4070, à une RTX 4090D, et à plusieurs dans une même machine, que llama.cpp et vLLM répartissent sur un modèle.
| Model size (weights) | RTX 407012 GB | One RTX 4090D24 GB | Two RTX 4090D48 GB | Four RTX 4090D96 GB |
|---|---|---|---|---|
| 7-8 billion parameters | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 13-14 billion parameters | 4-bit: Fits8-bit: No | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits | 4-bit: Fits8-bit: Fits |
| 30-34 billion parameters | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight | 4-bit: Fits8-bit: Fits |
| 70 billion parameters | 4-bit: No8-bit: No | 4-bit: No8-bit: No | 4-bit: Tight8-bit: No | 4-bit: Fits8-bit: Tight |
Les GPU GeForce RTX 40 n'ont pas de connecteur NVLink, donc plusieurs 4090D dans un serveur communiquent via PCIe. Répartir un modèle entre elles pour l'inférence fonctionne sur ce lien. L'entraînement qui échange des gradients à chaque étape gagne moins de chaque GPU supplémentaire qu'il ne le ferait sur des GPU reliés par NVLink.
Un modèle qui nécessite un grand espace mémoire unique, ou de la mémoire ECC, appartient à un GPU de calcul ou de station de travail avec 48 ou 80 Go. Ceux-ci sont sur chaque GPU que nous installons. Pour un plan modèle par modèle, consultez Serveurs LLM.
Plateformes
Les deux GPU ont une interface PCIe 4.0 x16. Les machines Intel Xeon la font fonctionner en PCIe 3.0, ce qui divise par deux la bande passante vers l'hôte. La machine AMD EPYC donne à chaque GPU une liaison PCIe 4.0 complète. Une fois que les poids ou une scène sont en mémoire GPU, la liaison importe peu ; elle compte pour les boucles d'entraînement qui diffusent des données depuis la mémoire système, et pour répartir un modèle sur plusieurs GPU.
| Machine | PCIe link | RTX 4090D | RTX 4070 |
|---|---|---|---|
| Intel Xeon E5-2600 v3/v4from $73.47/mo without a GPU | PCIe 3.0 | up to 4 | not offered |
| Intel Xeon Silver / Goldfrom $83.67/mo without a GPU | PCIe 3.0 | up to 3 | up to 4 |
| AMD EPYCfrom $217.59/mo without a GPU | PCIe 4.0 | up to 2 | not offered |
Les prix des machines sont la configuration la moins chère de chaque ligne sans GPU. Les serveurs RTX 40 peuvent être commandés à New York, Miami, San Francisco and Bucharest. Les machines d'Amsterdam ne sont pas proposées avec ces GPU. Chaque bâtiment est décrit sur centres de données.
Charges de travail
Une RTX 4090D sert un modèle 13B en 8 bits avec de la place pour le contexte, ou un modèle 30B en 4 bits avec un contexte court. Exécutez Ollama, llama.cpp ou vLLM derrière votre propre API ; les invites et les sorties restent sur votre machine.
Les cœurs RT de 3e génération accélèrent Blender Cycles via OptiX, ainsi qu'Unreal Engine et V-Ray. Un serveur GPU de lancer de rayons à prix mensuel fixe rend pendant la nuit sans compteur horaire qui tourne.
La 4090D embarque deux moteurs NVENC de 8e génération et un NVDEC. Les deux GPU encodent l'AV1 en matériel, ce que la série RTX 30 ne peut pas faire, donc un pipeline en direct peut servir l'AV1 à côté du H.264.
Le pilote GeForce exécute DirectX, Vulkan et OpenGL comme un ordinateur de bureau. Installez Windows ou Linux et lancez un hébergeur de jeux en nuage, une station de travail diffusée en continu ou un serveur de jeux avec un GPU dédié.
Livraison et conditions
Elle est installée et remise. Serveurs instantanés montre ce qui est en baie aujourd'hui.
Un technicien installe le GPU dans la machine que vous avez configurée, construit la matrice de disques et installe le système d'exploitation. La mémoire ou les disques ajoutés sont installés lors de la même visite.
Nous commandons la pièce, puis construisons comme ci-dessus. On vous indique quel cas s'applique avant que vous ne payiez.
Chaque calendrier commence une fois le paiement et l'examen de fraude validés. La plupart des commandes sont validées en quelques heures ; une première commande sur un nouveau compte peut prendre plus de temps.
Les propriétaires listent aussi des machines RTX 40 sur notre marché, chacune à un prix mensuel fixé par le propriétaire. Une annonce de notre société sœur, Primcast, est louée sur primcast.com.
Spécifications
| GPU | Memory | Bus | Bandwidth | CUDA cores | Boost | L2 | Encoders | Power |
|---|---|---|---|---|---|---|---|---|
| RTX 4090D | 24 GB GDDR6X | 384-bit | 1,008 GB/s | 14,592 | 2.52 GHz | 72 MB | 2 NVENC, AV1 | 425 W |
| RTX 4070 | 12 GB GDDR6X | 192-bit | 504 GB/s | 5,888 | 2.48 GHz | 36 MB | 1 NVENC, AV1 | 200 W |
Les chiffres des GPU proviennent de la comparaison de la série GeForce RTX 40 de NVIDIA, de sa matrice de support d'encodage et de décodage vidéo, et de la spécification de lancement publiée de la RTX 4090D. Les prix, les machines, les villes et les comptes par machine sont lus depuis notre catalogue de commandes, celui que la caisse facture.
Réponses
Un serveur complet avec une RTX 4090D démarre à $372.47 par mois. Cela correspond au GPU à $299 plus la machine la moins chère qui l’accepte : Intel Xeon E5-2620 v4, 8 cores, 2.10 GHz · 32 GB DDR4 · 2 × SATA 500 GB (RAID 1) · 1 Gbps. Chaque GPU supplémentaire ajoute sa propre ligne mensuelle, et un GPU monté sur commande ajoute des frais d’installation uniques de $29.
Il s’agit de la RTX 4090D. Elle possède les 24 Go de GDDR6X de la RTX 4090, 1 008 Go/s de bande passante, une horloge boost de 2,52 GHz et deux encodeurs AV1, avec 14 592 cœurs CUDA au lieu de 16 384. Nous le précisons ici pour que personne ne le découvre après avoir payé.
Tout au plus environ 11 % sur les charges limitées par le débit des shaders, comme le rendu et l’entraînement, car c’est la part de cœurs CUDA qui lui manque à fréquence égale. Sur les charges limitées par la taille ou la bande passante mémoire, comme la génération de jetons LLM, les deux devraient offrir des performances similaires.
Oui. Une machine peut en accueillir jusqu’à 4, soit 96 Go de mémoire GPU au total, et le configurateur indique le maximum que chaque machine accepte. Les GPU sont reliés en PCIe, car les GeForce RTX 40 ne disposent pas de NVLink.
En bare metal. La machine est louée à un seul compte et le GPU est transmis directement à votre système d’exploitation : pas d’hyperviseur, pas de tranche vGPU, pas de temps partagé. Vous installez le pilote NVIDIA et la version CUDA de votre choix.
La facturation à l’heure s’applique à une machine déjà en baie et louée telle quelle ; cela dépend donc de ce que la page des serveurs instantanés affiche ce jour-là. Un GPU monté sur une machine que vous avez configurée est facturé au mois, sans engagement.
Oui. Ses cœurs RT de 3e génération accélèrent le ray tracing dans Blender Cycles avec OptiX, Unreal Engine, V-Ray et d’autres moteurs de rendu, et ses 24 Go permettent de charger de grandes scènes. Avec un tarif mensuel fixe, les rendus longs coûtent autant que les courts.
Environ 30 minutes après validation lorsqu’une machine équipée du GPU est déjà en baie. Lorsque nous montons un GPU depuis le stock, comptez 4 à 24 heures ; lorsque le GPU doit être commandé, 5 à 10 jours ouvrés, et vous en êtes informé avant de payer.
À New York, Miami, San Francisco and Bucharest, sur le réseau propre de Server Room. Les machines d’Amsterdam ne sont pas proposées avec ces GPU.
Le serveur RTX 4070 démarre à $262.67 par mois tout compris, dont $179 pour le GPU. Il dispose de 12 Go de GDDR6X et d’un encodeur AV1, et une machine peut en accueillir jusqu’à 4.
Choisissez le nombre de GPU, puis le processeur, la mémoire, les disques et la ville. Le configurateur recalcule le prix à chaque modification.
Tous les GPU que nous installons · Serveurs RTX 30 · Serveurs RTX 50 · En baie dès maintenant