baseline-96g. En la práctica, eso significa planificar 80GB a 96GB de VRAM o más, según la configuración de GPU. Dependiendo del hardware, algunos modelos de IA pueden estar restringidos, por lo que para asegurar la compatibilidad apunta a las versiones de CUDA más nuevas compatibles (12.6+).
Nuestras especificaciones recomendadas para la mejor experiencia son:
- Sistema Operativo: Ubuntu SERVER 22.04 LTS o 24.04 LTS, instalación limpia, sin controladores adicionales o software instalado.
- CPU: Mínimo de 12 núcleos de CPU arquitectura amd64 (x86_64), pero se recomiendan 16 núcleos
- RAM: Mínimo de 64GB, pero se recomiendan 128GB
- Almacenamiento: Sin límite, mínimo de 4TB de almacenamiento rápido, pero se recomiendan 8TB
- GPU:
- Bare metal
- GPU de servidor (se requiere refrigeración externa ⚠️)
- NVIDIA H200 (141 GB)
- NVIDIA RTX PRO 6000 Server Edition (96 GB)
- NVIDIA H100 (80 / 96 GB)
- NVIDIA A100 (80 GB)
- GPU de estación de trabajo (sistema de refrigeración integrado)
- NVIDIA RTX PRO 6000 (Workstation) (96 GB)
- GPU de servidor (se requiere refrigeración externa ⚠️)
- AWS
- g7e.2xlarge https://instances.vantage.sh/aws/ec2/g7e.2xlarge
- Azure Cloud
- Elige una SKU de GPU de Azure que proporcione suficiente VRAM total para el nivel de preset
baseline-96g(normalmente 80GB a 96GB de VRAM total o más). - NVv3 (Requiere modelos cuantizados) https://learn.microsoft.com/en-us/azure/virtual-machines/sizes/gpu-accelerated/nvv3-series?tabs=sizebasic
- Elige una SKU de GPU de Azure que proporcione suficiente VRAM total para el nivel de preset
- Bare metal
¿Qué GPU debo comprar?
Encontrar la GPU adecuada para tu sistema puede ser un proceso complicado. Por ejemplo, dos GPUs con la misma vRAM pueden no tener el mismo rendimiento:- H100 (servidor) y A100 80GB son opciones representativas del nivel de preset
baseline-96g.
*Actualmente en desarrollo/en pruebas — sujeto a cambios en el futuro.
Para entornos bare metal on-premise (el escenario habitual para clientes de Zylon), un factor importante sería tu capacidad para refrigerar adecuadamente la GPU instalada en tu máquina. Si no quieres ocuparte de ello o careces de experiencia, opta por una opción de hardware de escritorio. Pero ten en cuenta que en caso de que quieras ejecutar modelos más grandes o proporcionar servicio a varios cientos de usuarios, es posible que necesites instalar un rack con un par en paralelo o verse obligado a cambiar a modelos de hardware de servidor.
Otro factor importante sería la inversión, especialmente con respecto a la GPU. Los rangos de precios del 5 de mayo de 2025 para los modelos mencionados son:
En cualquier caso, como respuesta directa a la pregunta de qué GPU debes comprar, nuestra recomendación base actual es una configuración que soporte el nivel de preset
baseline-96g, lo que en la práctica normalmente significa 80GB a 96GB de VRAM total o más.
Hardware de referencia para organización de tamaño medio
Si necesitas adquirir tu equipo con capacidad de IA desde cero, a partir del 29 de julio de 2025, por favor considera la siguiente recomendación de hardware:
baseline-96g. En la práctica, esto significa usar una GPU como la NVIDIA RTX PRO 6000 (Workstation) (96 GB), una A100 80GB, una H100 o una configuración multi-GPU que alcance un nivel similar, junto con una CPU potente (16 núcleos), 128 GB de RAM, suficiente capacidad de almacenamiento para operar Zylon con margen para crecer, una solución de refrigeración robusta y una placa base adecuada para la disposición de GPU elegida.
Ten en cuenta que esto es solo una recomendación, así que siéntete libre de adaptarla a tus preferencias mientras mantienes capacidades similares para un rendimiento ideal. Hemos usado Amazon como proveedor considerando que puedes ensamblar todas las partes tú mismo, pero cualquier proveedor con el que normalmente trabajes debería poder obtener un hardware similar y ensamblarlo para ti.