Cerebras explica cómo despliega modelos de IA de hasta 3 billones de parámetros en sus chips wafer-scale
La compañía publicó una guía técnica sobre cómo reparte modelos enormes, como Kimi K3, entre varios wafers Cerebras WSE-3T para ejecutarlos con baja latencia y alto rendimiento. El texto describe cómo organiza memoria, capas y solicitudes simultáneas para servir modelos de frontera que no caben en un solo chip.
Por Leonardo Beltran
Publicado el . Lectura: 3 min.
Redactado con ayuda de herramientas de IA y revisado por una persona de la redacción. Cómo usamos la IA.
Qué anunció Cerebras
Cerebras publicó una explicación técnica sobre cómo despliega modelos de frontera de gran tamaño en sus chips wafer-scale. El artículo se centra en una pregunta práctica: cómo ejecutar modelos de un billón de parámetros o más cuando un solo wafer no tiene memoria suficiente para guardar todos los pesos del modelo.
La compañía dice que un wafer Cerebras WSE-3T tiene 44 GB de memoria en chip. Según su explicación, eso obliga a repartir los modelos grandes entre varios wafers, en lugar de intentar cargar todo en una sola unidad.
El ejemplo elegido: Kimi K3
Para ilustrarlo, Cerebras usa Kimi K3, un modelo de código abierto con unos 3 billones de parámetros. La empresa afirma que el modelo tiene 69 capas de atención lineal y 24 capas densas.
En el texto, Cerebras señala que ese reparto permite ejecutar modelos de varios billones de parámetros a velocidades de 1000 a más de 2000 tokens por segundo. La publicación también menciona resultados del modelo en dos pruebas: Terminal-Bench 2.1 y BrowseComp, donde lo compara con GPT-5.6 Sol.
Cómo reparte el modelo entre wafers
El artículo explica que Cerebras divide el modelo en capas y las distribuye entre varias placas WSE-3T. También aclara que, para este tipo de inferencia, lo importante no es mover constantemente los pesos del modelo, sino mantener las capas en el chip y dejar que solo se transfieran las activaciones entre wafers.
Según la compañía, una capa densa necesita espacio adicional para la caché KV porque almacena claves y valores de todos los tokens en cada solicitud activa. En cambio, las capas de atención lineal usan un estado pequeño y fijo por solicitud, sin importar la longitud del contexto.
Con ese criterio, Cerebras dice que puede colocar una capa densa por wafer y dos capas lineales por wafer. Para el caso de Kimi K3, el resultado que presenta es un reparto en 59 wafers.
Por qué importa
La relevancia de este enfoque está en que los modelos de IA más avanzados ya no dependen solo del tamaño del cómputo, sino también de cómo se organiza la memoria y el flujo de datos. Cuando un modelo no cabe en un único chip, la arquitectura del sistema pasa a ser parte central del rendimiento.
Cerebras plantea su sistema como una especie de línea de montaje: cada wafer ejecuta una parte del modelo y pasa el resultado al siguiente. De esa forma, varias solicitudes pueden estar en curso al mismo tiempo, cada una en una etapa distinta del pipeline.
La empresa también explica que el número de solicitudes simultáneas depende de la memoria disponible para la caché KV en las capas densas. Es decir, la capacidad de concurrencia no la define solo el cálculo, sino también el espacio que queda para almacenar el estado de cada petición.
A quién afecta
Este tipo de despliegue interesa a quienes construyen o consumen sistemas de inferencia de IA a gran escala: laboratorios, empresas de software, equipos de producto y proveedores de nube. Para ellos, el texto de Cerebras ofrece una ventana a cómo se pueden servir modelos de gran tamaño sin depender de una única GPU o de una sola pieza de hardware convencional.
También es relevante para el público general porque muestra una tendencia clara en la industria: los modelos de IA siguen creciendo y obligan a rediseñar la infraestructura que los ejecuta. En ese contexto, la competencia ya no se limita a quién tiene el modelo más capaz, sino a quién puede hacerlo correr de forma eficiente, estable y con suficiente capacidad de respuesta.