Qué son los TOPS, y cómo miden la potencia para Inteligencia Artificial

La inteligencia artificial es una tecnología muy nueva que trae consigo un conjunto de nuevos térmicos, muchas veces, confusos. Uno de estos térmicos que está en todas partes es el de los NPU que viene asociado con un parámetro de potencia denominado TOPS. Vamos a explicarte que significa al valor de TOPS y por qué es una unidad tan importante.

Primeramente, debes saber que las Neural Processing Units (NPU) o unidad de procesamiento neuronal son un nuevo tipo de núcleo integrado en el propio procesador. Este elemento está destinado única y exclusivamente a realizar tareas relacionadas con la inteligencia artificial.

Intel, AMD y Qualcomm los integran en sus procesadores para así poder usar la IA dentro de Windows 11. Ninguno de los fabricantes mencionados indica realmente como están diseñados o que hay dentro de las NPU. Simplemente, dan un parámetro, como son los TOPS y te vamos a explicar que significa, que mide y como se calcula.

¿Qué son los TOPS, qué miden y cómo se calculan?

Se definen como una unidad que mide el rendimiento máximo potencial de inferencia de IA en función de la arquitectura y la frecuencia de los NPU. Dicha métrica lo que nos indica es la capacidad computacional de este nuevo tipo de núcleos.

Este parámetro nos indica la cantidad de operaciones por segundo (TOPS; Trillions o Tera Operations per Second) en trillones. Por lo tanto, si un chip nos ofrece una potencia de 50 TOPS, por ejemplo, quiere decir que puede realizar 50 trillones de operaciones por segundo. Cuando hablamos de operaciones, nos referimos a operaciones matemáticas como sumas, multiplicaciones, etc.

Nos ayuda este valor a la estandarización del rendimiento de los nuevos núcleos destinados la inteligencia artificial. Permite que podamos comparar dos chips de diferente fabricante y arquitectura.

Importante saber que los TOPS se basan en tres parámetros concretos, como son:

•  Operación de multiplicación-acumulación (MAC): ejecuta las fórmulas matemáticas base de las cargas de trabajo de la IA. Los NPU tienen una cantidad determinada de MAC que pueden realizar operaciones en distintos niveles de precisión.
• Frecuencia: determina la velocidad de reloj a la que funcionan las NPU y las MAC. Como pasa con las frecuencias de los núcleos «convencionales», esta afecta el rendimiento final. Así, cuanto mayor es la frecuencia, mayor cantidad de operaciones se pueden realizar por unidad de tiempo.
• Precisión: hace referencia a la granulidad de los cálculos, vamos, la precisión de los mismos. Los modelos de mayor precisión usan una longitud de palabra de 32 bits y 16 bits, mientras que los modelos más comunes utilizan una precisión INT8 de 8 bits.

Los TOPS se calculan de la siguiente manera:

TOPS = (2 * número de unidades MAC * frecuencia ) / 1 billón

Aunque puedas pensar que un valor elevado de TOPS garantiza buen rendimiento en IA, no tiene por qué ser así. Realmente, el rendimiento es la combinación de diferentes factores que se combinan y que define la destreza de las unidades de procesamiento neuronal.

Factores como el ancho de banda de la memoria, la optimización del software o la integración del sistema son importantes. Una cosa son los valores teóricos y otra cosa el rendimiento en un entorno real.

The post Qué son los TOPS, y cómo miden la potencia para Inteligencia Artificial appeared first on HardZone.

from HardZone https://ift.tt/wkTebfz
via IFTTT