El Capitan es un HPE Cray EX255a instalado en el Lawrence Livermore National Laboratory (LLNL), en California. Fue diseñado para la National Nuclear Security Administration (NNSA) y combina computación exascale, inteligencia artificial, simulación multiphysics, almacenamiento paralelo y liquid cooling en una única plataforma de escala industrial.
En noviembre de 2024, el sistema debutó en el TOP500 con 1,742 exaFLOP/s. Una nueva medición elevó el resultado a 1,809 exaFLOP/s en noviembre de 2025. En la lista de junio de 2026, El Capitan pasó al segundo lugar global, manteniendo los 1,809 exaFLOP/s y permaneciendo como una de las referencias más importantes de arquitectura exascale del planeta.
| Indicador | Valor |
|---|---|
| HPL Rmax (jun/2026) | 1,809 EF/s |
| Rpeak TOP500 | 2,821 EF/s |
| Potencia HPL medida | 29,685 MW |
| Eficiencia HPL | 60,94 GF/W |
Punto de ingeniería: el valor de 29,685 MW del TOP500 es la potencia medida durante el benchmark HPL. El LLNL publica ~35-36 MW como orden de magnitud de pico del sistema, mientras que la modernización ECFM elevó la capacidad eléctrica del complejo a 85 MW. Estos tres números representan capas diferentes de la infraestructura.
Alcance público: El Capitan atiende misiones clasificadas. Este material usa exclusivamente información técnica pública. Los diagramas de energía y cooling representan la arquitectura funcional divulgada; no reproducen detalles de seguridad, redundancia o protección que no sean públicos.
¿Qué significa operar en exascale?
Exascale es la clase de sistemas capaces de ejecutar al menos 10^18 operaciones de punto flotante por segundo en workloads de referencia. Esta frontera cambia la escala de los problemas científicos: más resolución espacial, más variables, más escenarios, mejor cuantificación de incertidumbre y mayor uso de técnicas de inteligencia artificial integradas a la simulación.
El HPL mide desempeño de álgebra lineal densa y sigue siendo la métrica principal del TOP500. El HPCG busca reflejar patrones de acceso a memoria y comunicación más cercanos a aplicaciones científicas. En junio de 2026, El Capitan registraba 17,406 PF/s en el HPCG. En el HPL-MxP, que explora precisión mixta y aproxima workloads de IA, el sistema alcanzó 16,7 exaFLOP/s en una medición publicada por el TOP500.
| Fecha | HPL Rmax (EF/s) |
|---|---|
| Nov/2024 | 1,742 |
| Jun/2025 | 1,742 |
| Nov/2025 | 1,809 |
| Jun/2026 | 1,809 |
En junio de 2026, El Capitan ocupa el 2º lugar en el TOP500.
Arquitectura general: HPE Cray EX255a + AMD MI300A
La arquitectura fue diseñada como un sistema integrado. Compute, fabric, storage y cooling no son subsistemas independientes; el desempeño final depende del equilibrio entre todos ellos. El HPE Cray EX fue concebido para cargas de alta densidad, con refrigeración líquida directa y red Slingshot integrada.
| Escala física | Valor |
|---|---|
| Gabinetes compute | 90 |
| Nodos totales | 11.520 |
| MI300A APUs | 46.080 |
| Rabbit modules | 720 |
AMD Instinct MI300A: CPU y GPU en el mismo paquete
El MI300A es una APU para HPC: integra CPU Zen 4, GPU CDNA 3 y memoria HBM3 compartida en el mismo paquete. Esta memoria unificada reduce la necesidad de copiar datos entre memorias físicamente separadas de CPU y GPU — una operación que, en arquitecturas discretas, añade latencia, consumo y complejidad de programación.
| Componente | Por MI300A |
|---|---|
| CPU | 24 cores Zen 4 x86 |
| GPU | 6 XCDs CDNA 3 |
| Memoria | 128 GiB HBM3 |
| Bandwidth HBM3 | ~5,3 TB/s teóricos |
| FP64 vectorial | 61,3 TFLOP/s |
| Coherencia | CPU/GPU con memoria compartida e Infinity Fabric |
Anatomía del compute node
Cada compute node posee cuatro MI300A. Esto significa 96 cores de CPU Zen 4, cuatro complejos acelerados con memoria HBM3 y 512 GiB de memoria global en el nodo. El propio LLNL publica 250,8 TFLOP/s de pico FP64 por nodo.
La conexión externa del nodo usa cuatro interfaces HPE Slingshot de 200 Gb/s. En términos agregados, la inyección de red llega a 100 GB/s por nodo. En una máquina con más de once mil nodos, el fabric deja de ser una red auxiliar y pasa a ser parte del computador.
Por qué esto importa para IA: el entrenamiento distribuido y la simulación acelerada están limitados por el tiempo de movimiento de datos. Una arquitectura unificada reduce el tráfico interno CPU-GPU; un fabric de alta bandwidth reduce la espera entre nodos.
Escala: 11.520 nodos y 46.080 APUs
La configuración total publicada por el LLNL incluye 32 login nodes, 11.424 batch nodes y 64 debug nodes, totalizando 11.520 nodos. Cada nodo de computación usa cuatro MI300A. La plataforma declara 1.105.920 cores de CPU y 5.898.240 GiB de memoria total.
| Métrica | Valor |
|---|---|
| Gabinetes de computación | 90 |
| Nodos totales | 11.520 |
| MI300A APUs | 46.080 |
| CPU cores | 1.105.920 |
| HBM3 en el sistema | 5.760 TiB |
| Rabbit modules | 720 |
Benchmark vs. sistema instalado: el TOP500 de junio de 2026 lista 11,34 millones de "cores" para la configuración medida. Ese número sigue la metodología de conteo del benchmark y no debe ser comparado directamente con los 1.105.920 cores x86 publicados por el LLNL. Para ingeniería de capacidad, use la definición de cada fuente y documente el alcance.
HPE Slingshot 11: el sistema nervioso del cluster
El Slingshot 11 utiliza una topología Dragonfly. El objetivo es reducir el número de saltos entre endpoints y, al mismo tiempo, evitar una explosión en el uso de fibra óptica. Switches de alto radix forman grupos con conexiones locales de cobre; enlaces ópticos conectan grupos distantes.
| Parámetro | Valor público |
|---|---|
| Puertos por switch | 64 |
| Bandwidth bidireccional por switch | 25,6 Tb/s |
| Puerto | hasta 200 Gb/s unidireccional |
| Interfaces por compute node | 4 x 200 Gb/s |
| Inyección agregada por nodo | 100 GB/s |
| Topología | Dragonfly |
Storage: mover datos a la velocidad de la computación
El El Capitan introdujo el Rabbit, una capa de almacenamiento near-node diseñada para reducir la latencia de I/O, absorber bursts y disminuir la interferencia en el fabric principal. Cada módulo Rabbit combina SSDs y un procesador AMD EPYC dedicado. La configuración actual del portal de hardware lista 720 módulos.
La persistencia global usa Lustre. El filesystem /p/lustre4, asociado al El Capitan, se publica actualmente con 359 PiB de capacidad — aproximadamente 400 PB en unidades decimales. Material de arquitectura del LLNL documenta un throughput superior a 2,6 TB/s en el tier global y una capa Rabbit del orden de 21 PB.
Patrón arquitectónico: para clusters de IA, la lección aprendida es clara: el storage no debe dimensionarse solo en TB o PB. IOPS, throughput agregado, metadata, checkpoints, burst buffers y distancia del dato hasta la GPU determinan el tiempo de solución.
Software stack: TOSS 4, Flux, ROCm y MPI
El hardware exascale exige una pila de software preparada para escala. El El Capitan usa TOSS 4 (Tri-Lab Operating System Stack), basado en Red Hat Enterprise Linux y adaptado para integrar MI300A, Slingshot, almacenamiento Rabbit y operación a gran escala.
| Capa | Tecnología / función |
|---|---|
| Sistema operativo | TOSS 4 |
| Scheduler | Flux |
| GPU runtime | AMD ROCm / HIP |
| MPI | HPE Cray MPI |
| Math libraries | AMD rocBLAS y ecosistema HPC |
| Filesystem paralelo | Lustre |
| Programación | C/C++, Fortran, Python y modelos heterogéneos |
El Flux es particularmente relevante porque fue creado en el ecosistema LLNL para orquestar workloads complejos y jerárquicos. En clusters de IA corporativos, el equivalente es pensar en scheduler, containers, observabilidad, cuotas y data orchestration como componentes de primera clase — y no como elementos añadidos después.
IA + HPC: por qué El Capitan es más que un benchmark
El El Capitan fue diseñado para simulaciones de alta fidelidad y para nuevos workflows que combinan física, análisis de datos e inteligencia artificial. El LLNL cita aplicaciones en descubrimiento de materiales, optimización de diseño, manufactura avanzada, digital twins y asistentes de IA entrenados en datos clasificados.
Convergencia HPC + AI: en HPC tradicional, el objetivo es acelerar la simulación numérica. En AI, el objetivo es alimentar aceleradores con matrices y datos en escala. En El Capitan, la misma infraestructura atiende ambos mundos: HBM3, aceleradores, fabric de baja latencia, storage paralelo y precisión mixta.
Consumo eléctrico: lectura correcta de los números
En la lista TOP500 de junio de 2026, el consumo medido asociado al HPL es 29.684,62 kW. Dividiendo el desempeño HPL de 1,809 exaFLOP/s por esa potencia, obtenemos la eficiencia publicada de aproximadamente 60,94 GFLOP/s por watt.
El hardware overview del LLNL publica 36,0 MW de peak power para la configuración total y 90 compute cabinets. El artículo de siting del ASC usa el orden de magnitud de ~35 MW. Estos valores son coherentes con la densidad de aproximadamente 400 kW por rack divulgada por el LLNL en 2026.
| Escenario | Potencia | Energía si 24x7 durante 1 año |
|---|---|---|
| HPL TOP500 | 29,685 MW | ~260,0 GWh |
| Peak LLNL | 36,0 MW | ~315,4 GWh |
Los valores anualizados anteriores son cálculos de ingeniería para dimensionamiento de orden de magnitud. La operación real depende de la carga, el mantenimiento, la disponibilidad, el perfil de los jobs y la eficiencia del data center.
De la red al rack: la infraestructura eléctrica
Para recibir sistemas exascale, el LLNL ejecutó el Exascale Computing Facility Modernization (ECFM). La obra llevó una línea de transmisión de 115 kV hasta un nuevo switchyard, instaló dos transformadores de subestación de 40 MW, switchgear de 13,8 kV, relés, feeders y subestaciones secundarias dentro de la instalación.
La capacidad eléctrica del computing floor se elevó de 45 MW a 85 MW. El objetivo del proyecto no era solo energizar el El Capitan, sino preparar el complejo para operar dos máquinas exascale simultáneamente en ciclos futuros.
Lo que no se está infiriendo: las fuentes abiertas no publican todos los detalles de UPS, grupos generadores, autonomía, selectividad, clasificación de redundancia o controles de seguridad. Este material no llena esas lagunas con suposiciones.
El data center: Building 453 y la modernización ECFM
El Building 453 fue diseñado para varias generaciones de supercomputadores. El LLNL informa 48.000 ft² de computer room floor — poco más de 4.450 m² — además de infraestructura mecánica y eléctrica de escala de utility. El edificio recibió la certificación LEED Gold en 2010.
| Métrica | Valor |
|---|---|
| Machine floor | 48.000 ft² |
| Capacidad eléctrica ECFM | 85 MW |
| Capacidad de cooling | 28.000 TR |
| Alimentación de alta tensión | 115 kV |
En proyectos de IA, este es el principal cambio de paradigma: el data center deja de ser una sala que hospeda servidores y pasa a ser una planta electromecánica cuya carga principal es computación de alta densidad.
Direct Liquid Cooling: 400 kW por rack
En junio de 2026, el LLNL publicó que los racks del El Capitan alcanzan densidades de aproximadamente 400 kW. El equipo de facilities cita ~25 kW/rack como el punto a partir del cual el aire deja de ser una solución práctica para esta clase de arquitectura.
El HPE Cray EX usa cold plates conectadas directamente a los componentes de mayor disipación. El sistema es descrito por HPE como 100% fanless y direct liquid-cooled. La eliminación de ventiladores en los compute cabinets reduce la energía parásita y permite concentrar mucho más compute por metro cuadrado.
Ecuación térmica: casi toda la potencia eléctrica consumida por el hardware termina como calor. Un sistema de 36 MW de TI puede generar una carga térmica del mismo orden de magnitud. Convirtiendo 36 MW a toneladas de refrigeración, tenemos aproximadamente 10.236 TR.
Dos loops, intercambiadores de calor y torres
El LLNL describe dos circuitos: uno con agua tratada y otro con fluido a base de glicol. Sensores monitorean temperatura, caudal y presión, y los controles responden a cambios rápidos de carga computacional. La instalación utiliza más de 2.000 ft de tubería en esta cadena de cooling.
El agua circula a una temperatura relativamente elevada, alrededor de 85 °F (~29,4 °C), reduciendo la necesidad de refrigeración mecánica intensiva. El rechazo final de calor ocurre principalmente por evaporación en las torres del ECFM.
La planta térmica en escala industrial
El ECFM amplió la capacidad de water cooling del complejo de 10.000 a 28.000 toneladas de refrigeración. Esto equivale a aproximadamente 98,5 MW de capacidad térmica nominal. El proyecto añadió seis torres de 3.000 TR, además de bombas, tubería e intercambiadores.
Capacidad de cooling no es consumo de TI: las 28.000 TR pertenecen al complejo y fueron dimensionadas para soportar la evolución de la instalación, incluyendo la coexistencia de máquinas exascale. No es correcto interpretar este número como "El Capitan consume 98,5 MW de cooling".
Energía por rack e implicaciones para el proyecto
La relación 90 compute cabinets x ~400 kW/rack produce 36 MW, exactamente el orden de magnitud publicado como peak power de la plataforma. En un data center convencional, 400 kW en un único rack cambia prácticamente todo: bus, cables, protección, distribución, peso, piping, CDU, layout y seguridad operacional.
| Ítem | Data center tradicional | Clase El Capitan / AI Factory |
|---|---|---|
| Densidad por rack | 5-20 kW típicos | ~400 kW/rack en El Capitan |
| Cooling | Aire / containment | Direct liquid cooling |
| Distribución | PDUs convencionales | Alta corriente + arquitectura específica |
| Red | 10/25/100G | 200G por puerto, multi-rail |
| Storage | Capacidad predominante | Capacidad + TB/s + near-node |
| Operación | Carga relativamente estable | Saltos de carga y calor por jobs |
Para ingenieros de IA, la conclusión es directa: los clusters de aceleradores deben diseñarse de forma conjunta con lo eléctrico y lo mecánico. Intentar "encajar" un cluster de cientos de kW por rack en una sala originalmente diseñada para 10 kW/rack normalmente crea cuellos de botella de distribución y cooling.
Contexto global: TOP500 en junio de 2026
El Capitan lideró el TOP500 desde noviembre de 2024 hasta noviembre de 2025. En la 67ª edición, de junio de 2026, LineShine debutó en primer lugar con 2,1984 exaFLOP/s. El Capitan pasó a la segunda posición manteniendo 1,8090 exaFLOP/s.
| # | Sistema | HPL Rmax (EF/s) | Power (MW) |
|---|---|---|---|
| 1 | LineShine | 2,1984 | 42,220 |
| 2 | El Capitan | 1,8090 | 29,685 |
| 3 | Frontier | 1,3530 | 24,607 |
| 4 | Aurora | 1,0120 | 38,698 |
| 5 | JUPITER Booster | 1,0000 | -- |
Para el objetivo de este material, el cambio de ranking no reduce el valor técnico del caso. El Capitan sigue siendo una de las arquitecturas más documentadas para estudiar la convergencia entre HPC, IA, alta densidad eléctrica, storage paralelo y liquid cooling.
Lo que El Capitan enseña sobre los data centers de IA
- El compute no puede dimensionarse de forma aislada: GPU, memoria, fabric y storage forman un sistema.
- La densidad eléctrica se convierte en el principal parámetro de layout: 400 kW/rack cambia la ingeniería de la sala.
- El liquid cooling debe entrar en el proyecto conceptual, no como retrofit de última hora.
- La energía debe contratarse y entregarse a escala de utility; 30-40 MW de TI ya exigen subestación y planificación de largo plazo.
- El near-node storage y los filesystems de cientos de PB muestran que el I/O es parte del desempeño computacional.
- El fabric debe calcularse por inyección, bisección, latencia y topología — no solo por la velocidad nominal del puerto.
- La telemetría de energía, temperatura, caudal y presión debe acompañar la dinámica de los workloads.
- La capacidad del edificio debe incluir margen de crecimiento y coexistencia de generaciones de hardware.
Visión EnQ Digital: una AI Factory es la combinación de data center, GPU, red, storage, software y energía. El valor de negocio aparece cuando estas capas se tratan como una única arquitectura.
Modelo de referencia para un proyecto corporativo de GPU
El El Capitan opera a una escala excepcional, pero los principios pueden trasladarse a clusters corporativos. Un proyecto de 1 a 10 MW de GPU debe iniciar por el workload y derivar potencia, cooling, red y storage.
| Etapa | Pregunta de ingeniería |
|---|---|
| Workload | ¿Entrenamiento, inferencia, HPC, RAG, video o simulación? |
| GPU | ¿Cuántas GPUs, TDP, memoria e interconexión intra-node? |
| Rack | ¿Cuál es la densidad máxima en kW/rack y peso por rack? |
| Cooling | ¿DLC, CDU in-row/in-rack, temperatura de supply y heat rejection? |
| Energía | ¿MW de TI, headroom, subestación, distribución y expansión? |
| Fabric | ¿Ethernet/RoCE o InfiniBand; 200/400/800G; oversubscription? |
| Storage | ¿Throughput, metadata, checkpoint, object y archive? |
| Operación | ¿Scheduler, observabilidad, tenancy, seguridad y automatización? |
La primera cuenta debe hacerse en kW por rack y MW por sala. La segunda, en GB/s por GPU y por cluster. La tercera, en TB/s de storage. Solo después tiene sentido discutir la cantidad total de racks y área.
Checklist técnico para AI Factory
- Definir el envelope de potencia IT por rack y por sala.
- Definir temperatura, caudal y calidad del fluido en el circuito de liquid cooling.
- Dimensionar CDUs, heat exchangers y capacidad de rechazo de calor.
- Validar la disponibilidad de energía en el punto de conexión y el plazo de energización.
- Modelar step loads de GPU y la respuesta del sistema eléctrico/mecánico.
- Definir la red east-west con latencia y bisection bandwidth adecuadas.
- Dimensionar storage por throughput y metadata, no solo por capacidad.
- Planificar observabilidad: power, temperatura, flow, pressure, GPU health y fabric.
- Planificar crecimiento por fases sin bloquear mantenimiento ni expansión.
- Validar compatibilidad entre servidor, rack, CDU, manifold, fluido y facility water.
Regla práctica: el data center para IA debe pensarse como una máquina térmica y eléctrica que hospeda computación, y no como una sala de TI tradicional.
Glosario esencial
| Término | Definición |
|---|---|
| exaFLOP/s | 10^18 operaciones de punto flotante por segundo. |
| Rmax | Desempeño efectivamente medido en el HPL. |
| Rpeak | Pico teórico calculado de la plataforma. |
| HPCG | Benchmark que enfatiza memoria y comunicación. |
| HPL-MxP | Benchmark de precisión mixta, relevante para la convergencia HPC/AI. |
| APU | Paquete que integra CPU y GPU/acelerador con memoria compartida. |
| HBM3 | High Bandwidth Memory de tercera generación. |
| DLC | Direct Liquid Cooling, con liquid cooling cercano al componente. |
| CDU | Cooling Distribution Unit. |
| Dragonfly | Topología de interconexión para clusters de gran escala. |
| Lustre | Filesystem paralelo usado en HPC. |
| Rabbit | Near-node local storage desarrollado para el ecosistema El Capitan. |
| TOSS | Tri-Lab Operating System Stack. |
| Flux | Resource manager y scheduler desarrollado en el LLNL. |
Fuentes
- TOP500 — El Capitan system page: top500.org/system/180307/
- TOP500 — June 2026: top500.org/lists/top500/2026/06/
- HPC @ LLNL — El Capitan: hpc.llnl.gov/hardware/compute-platforms/el-capitan
- HPC @ LLNL — Hardware Overview.
- LLNL — Introducing El Capitan.
- LLNL — El Capitan verified world's fastest supercomputer.
- LLNL — Powering up / ECFM.
- LLNL — How El Capitan keeps its cool.
- ASC — Facilities y El Capitan.
- HPE — El Capitan press release y HPE Cray Supercomputing EX QuickSpecs.
- HPC @ LLNL — Parallel File Systems.
Nota de verificación: datos consultados y actualizados hasta el 22 de agosto de 2026. Los rankings y especificaciones de supercomputadores pueden cambiar con nuevas mediciones, actualizaciones y nuevas ediciones del TOP500.