Microsoft detalla Maia 100, su primer chip para IA personalizado

Hace unos meses se anunciaba por parte de Microsoft la llegada de Copilot+, un conjunto de características y funciones de IA para Windows 11. La apuesta de la compañía no se queda solo en la implementación de elementos para su último sistema operativo, va más allá. Durante la Hot Chip 2024, Microsoft ha presentado los detalles de Maia 100, su primer chip especifico para IA.

Para utilizar las funciones de Copilot+ en Windows 11 se requiere de un procesador que incluya núcleos NPU. Esto supone, para una enorme cantidad de usuarios, la «obligación» de actualizar sus ordenadores si quieren usar la IA.

Algo interesante es que realmente estos núcleos NPU no tienen el más mínimo sentido. Realmente, las GPU pueden hacer esta tarea mucho mejor, por su capacidad de paralelización de tareas. Esto invita a pensar que los NPU son un elemento de obsolescencia forzosa para una tecnología que, cuanto menos, está bastante verde.

Microsoft anuncia su primer procesador específico para IA

Durante el evento Hot Chips 2024, Microsoft ha dado todos los detalles sobre su procesador Maia 100. Este ha sido diseñado para funcionar de principio a fin sin problemas en el campo de la inteligencia artificial. La idea con esta solución es obtener las mejores prestaciones y reducir al máximo los costes.

El sistema incluye placas para servidores especialmente diseñadas, bastidores únicos y un sistema de software. La idea es ofrecer una plataforma de gran eficiencia y solidez para servicios de IA de vanguardia, como Azure OpenAI.

Maia 100 es el chip de mayor tamaño fabricado por TSMC en  el nodo de 5 nm. Una solución específica creada para tareas de IA intensivas dentro de la plataforma Azure. Concretamente, este chip Maia 100 tiene las siguientes especificaciones:

• Tamaño del DIE de 820 mm².
• Diseño de TDP de 700 vatios.
• Potencia de TDP de 500 vatios.
• Fabricación en el proceso N5 de TSMC con tecnología de interposición COWOS-S.
• Una capacidad de 64 GB de memoria HBM2E con un ancho de banda de 1.8 TB/s.
• Tensor denso de pico de 6 bits con una potencia de 3 POPs, de 9 bits con una potencia de 1.5 POPs y BF16 con una potencia de 0.8 POP.
• Ofrece un ancho de banda de la red back end de 600 GB/s (12 x 400 GBE).
• Soporta un ancho de banda del host de 32 GB/s PCIe Gen5 x8.

Cuenta con Tensor Units de alta velocidad (16xRx16) para ofrecer un procesamiento de alta velocidad para entrenamiento e inferencia. Adicionalmente, soporta una gran cantidad de datos, incluidos tipos de datos de baja precisión en formato de datos MX.

Integra un procesador vectorial, que es un motor de superescala acoplado de forma flexible construido como una arquitectura de conjunto de instrucciones (ISA). Ha sido personalizado para admitir una amplia gama de datos, incluidos FP32 y BF16.

Se ha dispuesto un motor de acceso directo a memoria que admite diferentes esquemas de fragmentación de tensores. Incluye también semáforos de hardware que permite una programación asíncrona dentro de Maia.

Algo interesante de este chip es que integra una solución de conexión de red basada en Ethernet pero con un protocolo especial similar a RoCE. Gracias a este sistema se permite un procesamiento de datos muy rápido. Puede manejar hasta 4.800 Gbps para ciertas operaciones de datos y hasta 1.200 Gbps para comunicaciones de todos a todos.

Han creado, adicionalmente, un kit de desarrollo de software para que los programadores puedan adaptar sus modelos PyTorch y Triton para Maia. Dentro del SDK se incluyen diferentes herramientas para simplificar el uso de estos modelos con Azure OpenAI Services.

The post Microsoft detalla Maia 100, su primer chip para IA personalizado appeared first on HardZone.

from HardZone https://ift.tt/7J0F2Ef
via IFTTT