Chip de AI

por Jason Dorrier

El chip de inteligencia artificial más grande del mundo acaba de duplicar sus especificaciones, sin agregar una pulgada.

El Wafer Scale Engine (motor de escala de obleas) de Cerebras Systems es aproximadamente del tamaño de un plato grande. Toda esa superficie permite mucho más de todo, desde procesadores hasta memoria. El primer chip WSE, lanzado en 2019 , tenía la increíble cantidad de 1,2 billones de transistores y 400.000 núcleos de procesamiento. Su sucesor lo duplica todo, excepto su tamaño físico.

Chip de AI

El WSE-2 contiene 2,6 billones de transistores y 850.000 núcleos en el mismo plato. Su memoria en chip ha aumentado de 18 gigabytes a 40 gigabytes, y la velocidad a la que transporta información hacia y desde dicha memoria ha pasado de 9 petabytes por segundo a 20 petabytes por segundo.

Es una bestia de cualquier forma que la midas.

El WSE-2 es fabricado por Taiwan Semiconductor Manufacturing Company (TSMC), y fue un salto del proceso de fabricación de chips de 16 nanómetros de TSMC a su proceso de 7 nanómetros, omitiendo el nodo de 10 nanómetros, que permitió la mayoría de las ganancias del WSE-2.

Esto requirió cambios en el diseño físico del chip, pero Cerebras dice que también hicieron mejoras en cada núcleo más allá de lo que se necesitaba para que el nuevo proceso funcionara. El megachip actualizado debería ser mucho más rápido y eficiente.

¿Por qué hacer chips de computadora gigantes?

Si bien las unidades de procesamiento de gráficos (GPU) siguen dominando la inteligencia artificial, no fueron creadas para la IA en particular. Por el contrario, las GPU se desarrollaron y utilizaron por primera vez para aplicaciones con muchos gráficos, como los juegos.

Han hecho cosas increíbles para la inteligencia artificial y la supercomputación, pero en los últimos años, los chips especializados hechos para la inteligencia artificial están en auge.

Cerebras es uno de los contendientes, junto con otros prometedores como Graphcore y SambaNova y nombres más familiares como Intel y NVIDIA.

A la compañía le gusta comparar el WSE-2 con un procesador de inteligencia artificial superior (el A100 de NVIDIA) para subrayar cuán diferente es de la competencia. El A100 tiene un dos por ciento del número de transistores (54,2 mil millones) que ocupan un poco menos del dos por ciento de la superficie. Es mucho más pequeño, pero el poder del A100 se realiza más plenamente cuando cientos o miles de chips están conectados entre sí en un sistema más grande.

En contraste, el WSE-2 reduce el costo y la complejidad de unir todos esos chips al bloquear tanto procesamiento y memoria como sea posible en una sola oblea de silicio. Al mismo tiempo, eliminar la necesidad de mover datos entre muchos chips distribuidos en varios racks de servidores aumenta drásticamente la velocidad y la eficiencia.

El diseño del chip le da a sus núcleos pequeños y rápidos su propia memoria dedicada y facilita la comunicación rápida entre núcleos. Y el software de compilación de Cerebras funciona con modelos de aprendizaje automático utilizando marcos estándar, como PyTorch y TensorFlow, para que la distribución de tareas entre los núcleos del chip sea bastante sencilla.

El enfoque se llama computación a escala de obleas porque el chip es del tamaño de una oblea de silicio estándar del que normalmente se cortan muchos chips. La computación a escala de obleas ha estado en el radar durante años, pero Cerebras es el primero en hacer un chip comercialmente viable.

El chip viene empaquetado en un sistema informático llamado CS-2. El sistema incluye refrigeración y fuente de alimentación y cabe en aproximadamente un tercio de un bastidor de servidor estándar.

Después de que la startup anunció el chip en 2019, comenzó a trabajar con una lista creciente de clientes. Cerebras cuenta con GlaxoSmithKline, Lawrence Livermore National Lab y Argonne National (entre otros) como clientes junto con socios no identificados en productos farmacéuticos, biotecnología, fabricación y el ejército. Muchas aplicaciones han estado en IA, pero no todas. El año pasado, la compañía dijo que el Laboratorio Nacional de Tecnología Energética (NETL) usó el chip para superar a una supercomputadora en una simulación de dinámica de fluidos.

¿Se ampliará la escala de obleas?

Queda por ver si la informática a escala de obleas se pone de moda.

Cerebras dice que su chip acelera significativamente las tareas de aprendizaje automático, y el testimonio de los primeros clientes, algunos de los cuales afirman grandes ganancias, respalda esto. Pero aún no hay comparaciones independientes directas. Ni Cerebras ni la mayoría de las otras nuevas empresas de hardware de inteligencia artificial, por ejemplo, participaron en una prueba de referencia MLperf reciente de sistemas de inteligencia artificial . (Casi todos los sistemas principales usaban GPU NVIDIA para acelerar sus algoritmos).

Según IEEE Spectrum , Cerebras dice que prefieren dejar que los compradores interesados ​​prueben el sistema en sus propias redes neuronales específicas en lugar de venderlos en un punto de referencia más general y potencialmente menos aplicable. Este no es un enfoque poco común. El analista de inteligencia artificial Karl Freund dijo: “Todos ejecutan sus propios modelos que desarrollaron para su propio negocio. Eso es lo único que les importa a los compradores “.

También vale la pena señalar que el WSE solo puede manejar tareas lo suficientemente pequeñas como para caber en su chip. La compañía dice que los problemas más adecuados que ha encontrado pueden encajar, y el WSE-2 ofrece aún más espacio. Aún así, el tamaño de los algoritmos de aprendizaje automático está creciendo rápidamente. Por eso, quizás, Cerebras está interesado en señalar que dos o incluso tres CS-2 pueden caber en un gabinete de servidor.

En última instancia, el WSE-2 no tiene sentido para tareas más pequeñas en las que una o unas pocas GPU harán el truco. Por el momento, el chip se está utilizando en grandes proyectos de ciencia e investigación que requieren gran cantidad de recursos informáticos. Las aplicaciones actuales incluyen la investigación del cáncer y el descubrimiento de fármacos, la detección de ondas de gravedad y la simulación de fusión. El director ejecutivo y cofundador de Cerebras, Andrew Feldman, dice que también puede estar disponible para clientes con necesidades a corto plazo y menos intensivas en la nube.

El mercado del chip es un nicho, pero Feldman le dijo a HPC Wire  que es más grande de lo que anticipó en 2015, y sigue creciendo a medida que aparecen continuamente nuevos enfoques para la IA. “El mercado se mueve increíblemente rápido”, dijo.

Vale la pena observar la creciente competencia entre chips de IA. Puede haber varios enfoques adaptados a un propósito o uno que llegue a la cima.

Por el momento, al menos, parece que hay algo de apetito por una generosa ración de chips de computadora gigantes.

Crédito de la imagen: Cerebras

Fuente: https://singularityhub.com/2021/04/25/the-worlds-biggest-ai-chip-now-comes-stock-with-2-6-trillion-transistors/

Deja una respuesta