La carrera por dominar la infraestructura de la inteligencia artificial acaba de dar un giro inesperado; mientras el mercado se obsesionaba con la escasez de chips de alta velocidad, SK Hynix y Sandisk han presentado una iniciativa bajo el Open Compute Project que promete cambiar las reglas del juego. Se trata de la High Bandwidth Flash (HBF), una nueva categoría de almacenamiento diseñada para cerrar la brecha crítica entre la rapidez extrema de la memoria HBM y la gran capacidad de los discos SSD tradicionales.
Este movimiento estratégico busca resolver el principal «cuello de botella» de los centros de datos modernos: cómo procesar modelos de lenguaje masivos sin disparar los costos ni el consumo energético. Al situarse como un nivel intermedio, la High Bandwidth Flash no solo complementa a las arquitecturas actuales, sino que se posiciona como una alternativa real para las tareas de inferencia, donde la eficiencia y el volumen de datos son más importantes que la velocidad pura de procesamiento.
High Bandwidth Flash: El nuevo estándar para la inferencia de IA
La industria tecnológica ha identificado que la inferencia de IA -el proceso donde el modelo ya entrenado responde al usuario- requiere una gestión de datos distinta al entrenamiento. Aquí es donde la High Bandwidth Flash brilla, ofreciendo una capacidad significativamente superior a la memoria de alto ancho de banda (HBM). Según los datos técnicos presentados, esta tecnología basada en NAND busca ofrecer una solución a medida para los aceleradores de IA de próxima generación.
HBF se presenta como una solución de memoria basada en NAND diseñada específicamente para sistemas aceleradores de IA, equilibrando ancho de banda, capacidad y eficiencia energética.
A diferencia de las soluciones convencionales, la High Bandwidth Flash utiliza una arquitectura de apilamiento 3D avanzada. Esto permite que los chips ocupen el mismo espacio físico que un módulo HBM4, facilitando su integración en los diseños de hardware que ya están en desarrollo desde 2025 y 2026. La clave reside en su naturaleza no volátil: al ser una memoria Flash, no requiere energía constante para mantener los datos, lo que reduce drásticamente el calor generado y el gasto eléctrico en los clústeres de servidores.
Rendimiento y capacidad: Superando los límites del HBM
Las especificaciones de la primera generación de High Bandwidth Flash son contundentes, las compañías apuntan a una capacidad de entre 8 y 16 veces superior a la del HBM en diseños similares. Con un ancho de banda de lectura de hasta 1.6 TB/s y pilas de 16 matrices que alcanzan los 512 GB, el potencial es masivo. En pruebas simuladas con el modelo Llama 3.1 405B de 8 bits, el rendimiento de la High Bandwidth Flash se mantuvo a un impresionante 2.2% de distancia de una configuración de «HBM de capacidad ilimitada».
El futuro de esta tecnología ya tiene una hoja de ruta clara; la segunda generación (Gen2) busca superar los 2 TB/s, mientras que la tercera (Gen3) apunta a los 3.2 TB/s. Además, se espera que el consumo de energía baje hasta un 36% en las versiones futuras. Con gigantes como Samsung y NVIDIA acelerando sus propios desarrollos, la llegada de la High Bandwidth Flash de SK Hynix y Sandisk establece un nuevo campo de batalla donde la eficiencia por Terabyte será la métrica que defina al ganador.
El éxito de esta propuesta dependerá de su estandarización dentro del Open Compute Project, un paso vital para que los fabricantes de servidores adopten el formato de forma masiva. Por ahora, queda claro que la infraestructura de la IA está dejando de ser una cuestión de potencia bruta para convertirse en un ejercicio de equilibrio inteligente entre velocidad y almacenamiento masivo.