La gente dice que el tamaño no importa, pero cuando se trata de inteligencia artificial, los fabricantes del chip de computadora más grande siempre difieren. Hay muchos signos de interrogación sobre el gigantesco procesador, pero su diseño poco convencional podría anunciar una nueva era innovadora en el diseño de silicio.
Los chips de computadora especializados para ejecutar algoritmos de aprendizaje profundo son un área de investigación en auge a medida que las limitaciones de hardware comienzan a disminuir el progreso, y tanto los jugadores establecidos como las nuevas empresas compiten para construir el sucesor de la GPU, el chip gráfico especializado que se ha convertido en el caballo de batalla de la IA industria.
En el arranque Lunes californiana Cerebras salió del anonimato para dar a conocer un procesador centrado-AI que convierte la sabiduría convencional en su cabeza. Durante décadas, los fabricantes de chips se han centrado en hacer que sus productos sean cada vez más pequeños, pero el Wafer Scale Engine (WSE) tiene el tamaño de un iPad y presenta 1,2 billones de transistores, 400,000 núcleos y 18 gigabytes de memoria en chip.
Sin embargo, hay un método para la locura. Actualmente, obtener suficientes núcleos para ejecutar aplicaciones de aprendizaje profundo realmente a gran escala significa conectar bancos de GPU entre sí. Pero mezclar datos entre estos chips es una pérdida importante de velocidad y eficiencia energética porque los cables que los conectan son relativamente lentos.
Construir los 400,000 núcleos en el mismo chip debería sortear ese cuello de botella, pero hay razones por las que no se ha hecho antes, y Cerebras ha tenido que idear algunos trucos inteligentes para sortear esos obstáculos.
Los chips de computadora normales se fabrican mediante un proceso llamado fotolitografía para grabar los transistores en la superficie de una oblea de silicio. Las obleas tienen pulgadas de ancho, por lo que se construyen múltiples chips a la vez y luego se dividen después. Pero a 8.5 pulgadas de ancho, el WSE usa toda la oblea para un solo chip.
El problema es que, si bien para los procesos estándar de fabricación de chips, cualquier imperfección en la fabricación conducirá a la eliminación de algunos procesadores de varios cientos, para Cerebras significaría desechar toda la oblea. Para evitar esto, la compañía construyó circuitos redundantes para que, incluso si hay algunos defectos, el chip puede enrutarse a su alrededor.
El otro gran problema con un chip gigante es la enorme cantidad de calor que los procesadores pueden iniciar, por lo que la compañía ha tenido que diseñar un sistema patentado de refrigeración por agua. Eso, junto con el hecho de que nadie hace conexiones y empaques para chips gigantes, significa que el WSE no se venderá como un componente independiente, sino como parte de un servidor preempaquetado que incorpora la tecnología de enfriamiento.
Hasta el momento no hay detalles sobre los costos o el rendimiento, pero algunos clientes ya han estado probando prototipos y, según Cerebras, los resultados han sido prometedores. El CEO y cofundador Andrew Feldman le dijo a Fortune que las primeras pruebas muestran que están reduciendo el tiempo de entrenamiento de meses a minutos.
Tendremos que esperar hasta que los primeros sistemas se envíen a los clientes en septiembre para ver si esos reclamos resisten. Pero Feldman le dijo a ZDNet que el diseño de su chip debería ayudar a estimular una mayor innovación en la forma en que los ingenieros diseñan redes neuronales. Muchas de las piedras angulares de este proceso, por ejemplo, abordar datos en lotes en lugar de puntos de datos individuales, se guían más por las limitaciones de hardware de las GPU que por la teoría del aprendizaje automático, pero su chip eliminará muchos de esos obstáculos.
Ya sea que ese sea el caso o no, el WSE podría ser el primer indicio de una nueva era innovadora en el diseño de silicio. Cuando Google anunció su Unidad de Procesamiento de Tensor centrada en la IA en 2016, fue una llamada de atención para los fabricantes de chips que necesitamos un pensamiento innovador para cuadrar la desaceleración de la Ley de Moore con una demanda vertiginosa de potencia informática.
No solo las granjas de servidores de IA de los gigantes de la tecnología impulsan la innovación. En el otro extremo del espectro, el deseo de integrar inteligencia en objetos cotidianos y dispositivos móviles está impulsando la demanda de chips de inteligencia artificial que pueden funcionar con pequeñas cantidades de energía y exprimir los factores de forma más pequeños.
Estas tendencias han generado un renovado interés en todo, desde los chips neuromórficos inspirados en el cerebro hasta los procesadores ópticos, pero la WSE también muestra que podría haber un kilometraje en simplemente mirar de reojo algunas de las otras decisiones de diseño que los fabricantes de chips han tomado en el pasado en lugar de solo bombeando cada vez más transistores en un chip.
Este chip gigantesco podría ser la primera exhibición en una nueva colección extraña y maravillosa de silicio exótico inspirado en la IA.