Serveurs dédiés GPU · NVIDIA Blackwell · au mois
Un serveur dédié RTX PRO 6000 chez nous est une machine bare-metal avec une NVIDIA RTX PRO 6000 Blackwell transmise directement à votre propre système d’exploitation. Le serveur complet démarre à $1,382.67 a month. Le GPU embarque 96 Go de GDDR7 avec ECC. No GPU in our order catalogue holds more.
Vous disposez d’un accès root sur la machine, du GPU sur le bus PCIe, ainsi que du pilote et de la version CUDA de votre choix. Le prix comprend le processeur, la mémoire, les disques, le port et une adresse IPv4, plus le GPU facturé comme une ligne mensuelle distincte. Modifiez chacun de ces éléments dans le configurateur.
Le GPU
C’est le GPU professionnel Blackwell de NVIDIA, successeur de la RTX 6000 Ada. Quatre de ses caractéristiques déterminent les usages auxquels le serveur est adapté.
96 Go
Deux fois les 48 Go de la RTX 6000 Ada et plus que les 80 Go des A100 et H100 que nous installons. L’ECC corrige les erreurs sur un seul bit dans la mémoire du GPU, ce qui compte pour les traitements qui durent plusieurs jours.
752
Les cœurs Tensor exécutent les calculs matriciels FP4, FP8 et FP16 pour l’inférence et l’entraînement. NVIDIA annonce 4 000 AI TOPS en FP4 avec sparsité pour ce GPU.
188
Les cœurs RT effectuent les tests de rayons et de triangles au niveau matériel, pour 380 TFLOPS. Les moteurs de rendu OptiX comme Blender Cycles, V-Ray et Arnold GPU les utilisent.
4 + 4
Quatre encodeurs de 9e génération et quatre décodeurs de 6e génération, tous avec AV1, à côté des cœurs de calcul. Les A100 et H100 n’ont aucun encodeur vidéo.
Face aux accélérateurs
Voici les GPU de 40 Go ou plus que nous installons, chacun facturé comme un serveur complet. La RTX PRO 6000 embarque plus de mémoire que la H100 and costs $300 a month less as a complete server.
Ce qu’elle cède, c’est le NVLink. Deux d’entre elles dans une même machine forment deux réservoirs distincts de 96 Go qui échangent leurs données via PCIe. L’A100 et la H100 disposent d’un connecteur de pont NVLink, et une configuration avec pont est chiffrée sur demande pour les serveurs A100 ou H100. L’A100 80 Go lit aussi sa mémoire un peu plus vite, 1 935 Go/s contre 1 792 Go/s, ce qui se remarque quand vous servez de nombreux utilisateurs avec une grande taille de lot.
Plateformes
La RTX PRO 6000 possède une interface PCIe Gen 5. Nos machines Intel Xeon Silver et Gold la font tourner en PCIe 3.0 ; la machine AMD EPYC la fait tourner en PCIe 4.0. Une fois les poids ou la scène en mémoire GPU, le lien reste la plupart du temps inactif. Il compte pour les boucles d’entraînement qui copient un nouveau lot depuis la mémoire système à chaque étape : prenez donc la machine EPYC pour ces usages.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Chaque prix correspond à la configuration la moins chère de cette machine telle que le configurateur l’ouvre, et le bouton l’ouvre avec le GPU déjà sélectionné. Plus de processeur, de mémoire, de disques et un port plus rapide y sont chiffrés. Les configurations de Bucarest sont facturées en euros. Les machines d’Amsterdam ne sont pas proposées avec ce GPU. Plus d’une RTX PRO 6000 dans une même machine est chiffrée sur demande : posez la question sur le chat ou consultez les serveurs multi-GPU.
Dimensionnement
Les poids d’un modèle occupent son nombre de paramètres multiplié par les octets par paramètre. Le GPU a besoin d’un quart à une moitié en plus pour le cache KV et l’exécution, et le tableau ci-dessous applique cette règle. Un modèle 70B en 4 bits tient avec de la place pour le contexte ; en 8 bits il se charge, mais un contexte long ou un second utilisateur l’épuise.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Poids uniquement, arrondis au supérieur. Pour un plan modèle par modèle, avec la machine qu’il requiert, consultez les serveurs LLM.
Charges de travail
Servez un modèle 70B en 4 bits, ou un modèle 30B en 8 bits, derrière votre propre API avec vLLM, llama.cpp ou Ollama. Les invites et les sorties restent sur votre machine.
QLoRA sur un modèle 70B, ou LoRA sur un modèle 13B en 16 bits, tient dans 96 Go. La mémoire ECC protège une exécution de plusieurs jours contre les basculements de bits silencieux.
Les scènes qui ne tiennent pas dans 24 ou 48 Go sont rendues sur un seul GPU au lieu d’être découpées. Les cœurs RT prennent en charge le lancer de rayons.
Quatre encodeurs AV1 et quatre décodeurs transcodent de nombreux canaux en direct par le matériel pendant que les cœurs CUDA exécutent autre chose. Pour une machine configurée avec Flussonic ou Wowza, consultez les serveurs de transcodage GPU.
Livraison et conditions
Rien à installer : le serveur est monté et remis. Les serveurs instantanés listent ce qui est en baie en ce moment.
Un technicien l’installe dans la machine que vous avez configurée, prépare les disques et installe le système d’exploitation.
Nous le commandons auprès d’un distributeur, puis nous l’installons.
Quand les distributeurs rationnent un GPU, vous obtenez la date avant de vous engager.
Chaque délai démarre une fois le paiement et l’examen anti-fraude validés. Vous savez lequel des quatre s’applique avant de payer.
Des propriétaires listent aussi des machines RTX PRO 6000 sur notre place de marché, chacune au prix fixé par le propriétaire. Les annonces signalées comme passant par notre société sœur, Primcast, sont louées sur primcast.com.
Spécifications
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Réponses
Un serveur RTX PRO 6000 complet démarre à $1,382.67 par mois. Cela comprend le GPU à $1,299 plus la machine la moins chère qui l’accepte, à $83.67 : Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Un GPU monté sur commande ajoute des frais d’installation uniques de $29, et un paiement 12 mois à l’avance donne 15 % de remise.
188 cœurs RT de quatrième génération et 752 cœurs Tensor de cinquième génération, aux côtés de 24 064 cœurs CUDA. NVIDIA évalue les cœurs RT à 380 TFLOPS et les cœurs Tensor à 4 000 AI TOPS en FP4 avec sparsité. Les chiffres sont identiques sur les éditions Workstation, Max-Q et Server.
Non. La RTX 6000 Ada appartient à la génération précédente, avec 48 Go de GDDR6. La RTX PRO 6000 est une Blackwell, avec 96 Go de GDDR7, des cœurs Tensor de cinquième génération et des encodeurs AV1. Nous installons les deux : si 48 Go suffisent pour votre travail, la RTX 6000 Ada est le serveur le moins cher, et la page Serveurs GPU affiche le prix de chaque GPU que nous installons.
Non. La RTX PRO 6000 n’a pas de connecteur NVLink, donc deux cartes dans un même serveur forment deux pools de 96 Go qui échangent des données via PCIe. Les A100 et H100 disposent d’un connecteur de pont NVLink, et une configuration avec pont fait l’objet d’un devis manuel. Il en va de même pour plus d’une RTX PRO 6000 dans une seule machine.
Oui. En 4 bits, les poids d’un modèle 70B occupent environ 38 Go, ce qui laisse de la place dans 96 Go pour un contexte long et plusieurs utilisateurs. En 8 bits, ils occupent environ 70 Go : le modèle se charge, avec peu de marge restante. En 16 bits, il faut deux GPU ou plus.
Non. La machine est louée à un seul compte et le GPU complet est transmis directement à votre système d’exploitation. Il n’y a ni hyperviseur ni profil vGPU, et vous installez le pilote NVIDIA et la version de CUDA de votre choix.
Environ 30 minutes après l’approbation de votre commande lorsqu’une machine équipée du GPU est déjà en baie. Lorsque nous montons un GPU que nous avons en stock, comptez de 4 à 24 heures ; un GPU que nous achetons prend de 5 à 10 jours ouvrés. Vous êtes informé du délai avant de payer.
À New York, Miami, San Francisco and Bucharest, dans nos propres baies sur notre propre réseau. Les configurations de Bucarest sont facturées en euros. Le GPU n’est pas proposé sur les machines d’Amsterdam.
Choisissez la machine, la mémoire, les disques et la ville. Le configurateur affiche le prix de chaque modification au fur et à mesure, avec le GPU déjà sélectionné.
Tous les GPU que nous installons · Serveurs A100 et H100 · Serveurs L40S · Serveurs RTX 5090 · En baie dès maintenant