El futuro de la IA local cabe en un M.2: así funciona este «SSD» que ejecuta LLMs

La carrera por la IA no tiene un único carril, sino más bien diferentes vertientes que cada fabricante y los usuarios deciden seguir. Generalmente, siempre hemos asociado el uso de la IA local a la GPU, ya que es la que más potencia suele tener para ejecutar LLMs, pero en los últimos tiempos los fabricantes están empezando a innovar con dispositivos independientes capaces de ejecutar una IA de forma local y en cualquier PC. Es el caso de Unigen con su Amaretti AI Module, con forma de SSD y que, de hecho, se conecta a un zócalo M.2 de cualquier placa base que lo tenga.

Ahora, con el auge de los agentes de IA locales, muchas empresas están lanzando productos para IA únicos y diseñados para el consumidor de a pie, como tú y como yo. Y es que al fina, que NVIDIA anuncie un nuevo y potentísimo acelerador de IA para centros de datos, a los consumidores no nos afecta para nada, al menos no directamente. Pero un «cacharro» que puedes conectar en un M.2 de la placa base del ordenador que ya tienes en casa, es otra historia…

Un módulo de IA local que se conecta al M.2 de tu placa base

Unigen es uno de estos fabricantes que han pensado en el consumidor de a pie, y ha anunciado el módulo de IA Amaretti E1.S, un pequeño módulo que se conecta a un zócalo M.2 de la placa base y que parece, en cuanto a su diseño, un SSD normal y corriente; sin embargo, alberga potentes características y capacidades para montar una IA local en tu PC.

El Unigen Amaretti E1.S tiene la forma y el tamaño de un SSD NVMe convencional: foto: Unigen.

Básicamente, lo que ha hecho el fabricante ha sido integrar su acelerador SAKURA-II en una placa E1.S, junto con una impresionante capacidad de memoria de 32 GB (también lo comercializarán con 16 GB, más barato) con un ancho de banda de hasta 68 GB/s. El módulo tiene un consumo de apenas 10W, y ofrece hasta 60 TOPs de potencia máxima para IA. De fábrica, viene equipado con su propio disipador pasivo para no tener problemas de temperatura.

En términos de rendimiento, este módulo tiene la capacidad de ejecutar modelos de lógica de aprendizaje automático (LLM) de IA con hasta 20.000 millones de parámetros, algo ideal para soluciones de IA de bajo consumo que requieren ejecutar flujos de trabajo GenIA o Agentic. Además, estos módulos tienen la capacidad de apilarse en serie, de manera que si tu placa base tiene varios zócalos M.2 puedes instalar varios de estos módulos para que trabajen en conjunto, sumando su potencia.

from Hard Zone : Hardware, Reviews, Noticias, Tutoriales, Foros de ayuda https://ift.tt/myMDcUx
via IFTTT