Alojamiento de LLM en un servidor de IA dedicado Tu modelo, tu máquina, una sola factura mensual.

Un servidor dedicado de IA es una máquina física alquilada a un solo cliente para ejecutar modelos de IA, con acceso root y sin ningún otro inquilino en el hardware. Los nuestros vienen como máquinas con CPU y 128 GB de memoria para modelos cuantizados, y como servidores con GPU para modelos más grandes y fine-tuning. Tú eliges el sistema operativo y el software; nosotros gestionamos el hardware y la red.

En un servidor dedicado es una cifra mensual, no una factura por token. La máquina de inferencia con CPU es $249 a month, un servidor completo con una GPU de 48 GB es $532.67 a month, y la configuración con GPU de 80 GB es $972.47 a month. El tráfico no se mide y el plazo es mensual, sin contrato.

Sí, para modelos cuantizados de hasta unos 14B de parámetros. Un modelo de 7-8B en 4 bits necesita unos 5 GB y se ejecuta desde la memoria del sistema con llama.cpp u Ollama, lo que basta para un asistente de equipo, recuperación y embeddings. No servirá un 70B a muchos usuarios a la vez; eso es trabajo de GPU.

Los pesos de un modelo de 70B son unos 38 GB en 4 bits y 70 GB en 8 bits, antes del runtime y el contexto. El Llama 3.1 70B por defecto de Ollama en 4 bits es una descarga de 43 GB, así que el hogar cómodo en una sola máquina es la GPU de 80 GB. Una GPU de 48 GB carga un 70B en 4 bits con poco margen, y 8 bits o 16 bits necesitan más de una GPU, que es la página multi-GPU.

Cualquier modelo cuyos pesos tengas permitido tener: Llama, Qwen, Mistral, Gemma, DeepSeek y sus fine-tunes. La licencia es entre tú y el editor. Nosotros no inspeccionamos ni restringimos lo que cargas.

No. La máquina es solo tuya, con tu sistema operativo en tus discos, y nada nuestro lee los prompts, el contexto ni las salidas. Nosotros operamos el hardware y la red, nunca la carga de trabajo.

Fine-tuning, sí. Los adaptadores LoRA y QLoRA se entrenan en una GPU, y el artículo de QLoRA ajustó un modelo de 65B en una sola GPU de 48 GB. Preentrenar un modelo desde cero requiere muchas GPUs en muchas máquinas, lo cual es una cuestión para la página multi-GPU.

Unos 30 minutos después de que se apruebe el pago cuando la máquina ya está en el rack, y de 4 a 24 horas cuando se construye por encargo. Una pieza comprada para tu pedido tarda más y puede conllevar un pago inicial o un plazo mínimo, y se te informa antes de pagar.

No hay cuentas de prueba. La política de reembolso se aplica dentro de los tres días naturales posteriores a la primera activación, y los pagos con criptomonedas se reembolsan como crédito en la tienda. La forma más barata de probar es un mes en la máquina con CPU.

Te pasas a la siguiente, normalmente en el mismo edificio. Una máquina con CPU entrega sus archivos de modelo a un servidor con GPU por la red local, o se cambia la GPU en el chasis que ya alquilas y la factura cambia por la diferencia.