96 GB
Memória GDDR7 com ECC
O dobro dos 48 GB da RTX 6000 Ada e mais do que as A100 e H100 de 80 GB que instalamos. O ECC corrige erros de bit único na memória da GPU, o que faz diferença em execuções que duram dias.
Servidores dedicados com GPU · NVIDIA Blackwell · por mês
Servidor dedicado RTX PRO 600096 GB em uma única GPU. A máquina inteira é sua.
Um servidor dedicado RTX PRO 6000 conosco é uma máquina bare-metal com uma NVIDIA RTX PRO 6000 Blackwell passada diretamente para o seu próprio sistema operacional. O servidor completo começa em $1,382.67 a month. A GPU traz 96 GB de GDDR7 com ECC. No GPU in our order catalogue holds more.
- GPU completa, sem vGPU
- Porta sem limite de tráfego
- 4 cidades
- Sem fidelização
Você tem acesso root na máquina, a GPU no barramento PCIe e a versão de driver e CUDA que escolher. O preço inclui processador, memória, discos, a porta e um endereço IPv4, além da GPU como um item mensal próprio. Altere qualquer um deles no configurador.
A GPU
O que a RTX PRO 6000 Blackwell oferece a um servidor
É a GPU profissional Blackwell da NVIDIA, sucessora da RTX 6000 Ada. Quatro aspectos dela definem para que o servidor é indicado.
752
Núcleos Tensor de 5ª geração
Os núcleos Tensor executam operações matriciais em FP4, FP8 e FP16 para inferência e treinamento. A NVIDIA classifica a GPU em 4.000 AI TOPS em FP4 com esparsidade.
188
Núcleos RT de 4ª geração
Os núcleos RT realizam os testes de raios e triângulos em hardware, com desempenho de 380 TFLOPS. Renderizadores OptiX como Blender Cycles, V-Ray e Arnold GPU os utilizam.
4 + 4
Motores NVENC e NVDEC
Quatro codificadores de 9ª geração e quatro decodificadores de 6ª geração, todos com AV1, ao lado dos núcleos de computação. As A100 e H100 não têm nenhum codificador de vídeo.
Contra os aceleradores
RTX PRO 6000 vs H100, A100 e as GPUs de 48 GB
Estas são as GPUs com 40 GB ou mais que instalamos, cada uma com preço de servidor completo. A RTX PRO 6000 tem mais memória que a H100 and costs $300 a month less as a complete server.
O que ela cede é o NVLink. Duas delas numa máquina são dois conjuntos separados de 96 GB que trocam dados por PCIe. A A100 e a H100 têm conector de ponte NVLink, e uma configuração com ponte é cotada manualmente em servidores A100 ou H100. A A100 de 80 GB também lê a memória um pouco mais rápido, 1.935 GB/s contra 1.792 GB/s, o que se nota ao atender muitos usuários com um lote grande.
- RTX PRO 6000 Blackwell 96GB96 GB GDDR7 ECC$1,382.67/mo complete
- A100 80GB80 GB HBM2e$972.47/mo complete
- H100 80GB80 GB HBM2e$1,682.67/mo complete
- Instinct MI21064 GB HBM2e$582.67/mo complete
- RTX 800048 GB GDDR6$472.47/mo complete
- L40S48 GB GDDR6 ECC$532.67/mo complete
- A4048 GB GDDR6$572.47/mo complete
- RTX A600048 GB GDDR6 ECC$622.47/mo complete
- RTX 6000 ADA48 GB GDDR6 ECC$698.47/mo complete
- A100 40GB40 GB HBM2$772.47/mo complete
Plataformas
Em qual máquina a GPU entra e qual link PCIe ela recebe
A RTX PRO 6000 tem interface PCIe Gen 5. Nossas máquinas Intel Xeon Silver e Gold a operam em PCIe 3.0; a máquina AMD EPYC a opera em PCIe 4.0. Depois que os pesos ou a cena estão na memória da GPU, o link fica quase ocioso. Ele importa para loops de treinamento que copiam um lote novo da memória do sistema a cada passo, então escolha a máquina EPYC para esses casos.
| Machine | PCIe link to the GPU | Cheapest build | With the GPU | Cities | Order |
|---|---|---|---|---|---|
| Intel Xeon Silver / GoldIntel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps | PCIe 3.0 | $83.67/mo | $1,382.67/mo | New York, Miami, San Francisco and Bucharest | Configure Intel Xeon Silver / Gold with the RTX PRO 6000 |
| AMD EPYCAMD EPYC 7413, 24 cores, 2.65 GHz · 32 GB DDR4 · 1 × SATA-SSD 240 GB · 1 Gbps | PCIe 4.0 | $217.59/mo | $1,516.59/mo | New York and Bucharest | Configure AMD EPYC with the RTX PRO 6000 |
Cada preço é a configuração mais barata daquela máquina como o configurador a abre, e o botão a abre com a GPU já selecionada. Mais processador, memória, discos e uma porta mais rápida são cotados lá. Configurações em Bucareste são faturadas em euros. Máquinas em Amsterdã não são oferecidas com esta GPU. Mais de uma RTX PRO 6000 numa máquina é cotada manualmente: pergunte no chat ou veja servidores multi-GPU.
Dimensionamento
O que cabe em 96 GB de memória de GPU
Os pesos de um modelo ocupam a contagem de parâmetros vezes os bytes por parâmetro. A GPU precisa de um quarto a metade a mais por cima para o cache KV e o runtime, e a tabela abaixo aplica essa regra. Um modelo 70B em 4 bits cabe com espaço para contexto; em 8 bits ele carrega, mas um contexto longo ou um segundo usuário o esgota.
| Model size (weights) | 4-bit | 8-bit | 16-bit |
|---|---|---|---|
| 7-8 billion parameters | Fits5 GB | Fits8 GB | Fits16 GB |
| 13-14 billion parameters | Fits8 GB | Fits14 GB | Fits28 GB |
| 30-34 billion parameters | Fits19 GB | Fits34 GB | Tight68 GB |
| 70 billion parameters | Fits38 GB | Tight70 GB | Does not fit140 GB |
Somente pesos, arredondados para cima. Para um plano modelo a modelo, com a máquina necessária, veja servidores LLM.
Cargas de trabalho
O que um servidor RTX PRO 6000 executa e onde ele para
Inferência de LLM em uma GPU
Sirva um modelo 70B em 4 bits, ou um modelo 30B em 8 bits, atrás da sua própria API com vLLM, llama.cpp ou Ollama. Prompts e saídas permanecem na sua máquina.
Ajuste fino
QLoRA em um modelo 70B, ou LoRA em um modelo 13B em 16 bits, cabe em 96 GB. A memória ECC protege uma execução de vários dias contra inversões silenciosas de bits.
Renderização e visualização
Cenas que não cabem em 24 ou 48 GB renderizam em uma GPU em vez de serem divididas. Os núcleos RT cuidam do ray tracing.
Vídeo em volume
Quatro codificadores AV1 e quatro decodificadores transcodificam muitos canais ao vivo em hardware enquanto os núcleos CUDA executam outra coisa. Para uma máquina configurada com Flussonic ou Wowza, veja servidores de transcodificação GPU.
- Sem NVLink. GPUs numa máquina compartilham dados apenas por PCIe. Quando duas GPUs precisam trocar tensores mais rápido que isso, uma configuração A100 ou H100 com ponte NVLink é cotada manualmente.
- Um slot PCIe 3.0 ou 4.0. Nenhuma máquina que a aceita tem slot Gen 5, então a GPU opera em link Gen 3 ou Gen 4. Inferência e renderização quase não notam; tráfego intenso host-para-GPU nota.
- Não é para treinar um modelo grande do zero. Isso exige muitas GPUs unidas por uma malha rápida. Uma RTX PRO 6000 é para inferência, ajuste fino e treinamento em uma única GPU.
Entrega e condições
Em quanto tempo fica online e o que o preço mensal cobre
- Cerca de 30 minutos
Já em uma máquina montada em rack
Nada para instalar: o servidor está montado e entregue. Servidores instantâneos lista o que está em rack agora.
- 4 a 24 horas
Uma GPU que temos em estoque
Um técnico a instala na máquina que você configurou, monta os discos e instala o sistema operacional.
- 5 a 10 dias úteis
Uma GPU que compramos
Nós a encomendamos de um distribuidor e depois a instalamos.
- 10 a 15 dias úteis
Uma GPU sob alocação
Quando os distribuidores racionam uma GPU, você recebe a data antes de se comprometer.
- Incluído
- Processador, memória, discos, IPv4 e IPv6, e uma porta sem medição. Nada conta tráfego em nenhuma direção.
- Acesso
- Root ou administrador no seu próprio sistema operacional, reinstalado pelo painel de controle sem custo, e o console out-of-band do servidor em uma rede de gerenciamento separada.
- Instalação
- $29 uma vez por uma GPU instalada sob encomenda. Uma máquina em rack pedida como está não tem taxa de instalação.
- Prazo
- Um mês por vez, sem contrato. Ciclos de 3, 6 e 12 meses economizam até 15%.
- Suporte
- Chat respondido em segundos por um assistente de IA que pode verificar sua conta e seu servidor, e uma pessoa no momento em que você pedir uma.
Cada prazo começa após o pagamento e a revisão antifraude serem aprovados. Você é informado qual dos quatro se aplica antes de pagar.
Máquinas RTX PRO 6000 no nosso marketplace de GPUs
Proprietários também anunciam máquinas RTX PRO 6000 no nosso marketplace, cada uma por um preço definido pelo proprietário. Anúncios marcados como vindos da nossa empresa irmã, Primcast, são alugados em primcast.com.
Especificações
Especificações da RTX PRO 6000 Blackwell
| Specification | RTX PRO 6000 Blackwell |
|---|---|
| Architecture | NVIDIA Blackwell |
| GPU memory | 96 GB GDDR7 with ECC |
| Memory bandwidth | 1,792 GB/s |
| CUDA cores | 24,064 |
| Tensor cores | 752, 5th generation (FP4) |
| RT cores | 188, 4th generation |
| FP32 | 125 TFLOPS |
| RT performance | 380 TFLOPS |
| AI performance | 4,000 TOPS (FP4, sparse) |
| Video encode | 4 NVENC, 9th generation, AV1 |
| Video decode | 4 NVDEC, 6th generation, AV1 |
| Host interface | PCIe Gen 5 |
| Board power | up to 600 W |
| NVLink | none |
Respostas
Perguntas sobre servidores RTX PRO 6000
Quanto custa um servidor dedicado RTX PRO 6000?
Um servidor RTX PRO 6000 completo começa em $1,382.67 por mês. Isso é a GPU a $1,299 mais a máquina mais barata que a aceita, a $83.67: Intel Xeon Silver 4110, 8 cores, 2.10 GHz · 16 GB DDR4 · 2 × SATA-SSD 240 GB (RAID 1) · 1 Gbps. Uma GPU instalada sob encomenda acrescenta uma configuração única de $29, e pagar 12 meses adiantados reduz 15%.
Quantos núcleos RT e núcleos Tensor tem a RTX PRO 6000?
188 núcleos RT de quarta geração e 752 núcleos Tensor de quinta geração, além de 24.064 núcleos CUDA. A NVIDIA classifica os núcleos RT em 380 TFLOPS e os núcleos Tensor em 4.000 AI TOPS em FP4 com esparsidade. As contagens são as mesmas nas edições Workstation, Max-Q e Server.
A RTX PRO 6000 é a mesma GPU que a RTX 6000 Ada?
Não. A RTX 6000 Ada é a geração anterior, com 48 GB de GDDR6. A RTX PRO 6000 é Blackwell, com 96 GB de GDDR7, núcleos Tensor de quinta geração e codificadores AV1. Instalamos ambas: se 48 GB cobrem o seu trabalho, a RTX 6000 Ada é o servidor mais barato, e servidores GPU lista os preços de cada GPU que instalamos.
A RTX PRO 6000 suporta NVLink?
Não. A RTX PRO 6000 não tem conector NVLink, então duas em um servidor são dois pools de 96 GB que trocam dados por PCIe. As A100 e H100 têm conector de ponte NVLink, e uma configuração com ponte é cotada manualmente. O mesmo vale para mais de uma RTX PRO 6000 em uma máquina.
Um modelo 70B pode rodar em uma RTX PRO 6000?
Sim. Em 4 bits, os pesos de um modelo 70B ocupam cerca de 38 GB, o que deixa espaço em 96 GB para um contexto longo e vários usuários. Em 8 bits, ocupam cerca de 70 GB: ele carrega, com pouco espaço de sobra. Em 16 bits, precisa de duas GPUs ou mais.
A GPU é compartilhada ou virtualizada?
Não. A máquina é alugada para uma conta e a GPU completa é passada diretamente para o seu sistema operacional. Não há hipervisor nem perfil vGPU, e você instala o driver NVIDIA e a versão CUDA que quiser.
Quão rápido fica online um servidor RTX PRO 6000?
Cerca de 30 minutos após a aprovação do seu pedido quando uma máquina com a GPU já está montada. Quando instalamos uma GPU que temos em estoque, de 4 a 24 horas; uma que compramos leva de 5 a 10 dias úteis. Você é informado antes de pagar.
Onde ficam seus servidores RTX PRO 6000?
Em New York, Miami, San Francisco and Bucharest, em nossos próprios racks e na nossa própria rede. As configurações em Bucareste são faturadas em euros. A GPU não é oferecida em máquinas de Amsterdã.
Configure seu servidor RTX PRO 6000
Escolha a máquina, a memória, os discos e a cidade. O configurador precifica cada alteração conforme você a faz, com a GPU já selecionada.
Cada GPU que instalamos · Servidores A100 e H100 · Servidores L40S · Servidores RTX 5090 · Montados agora