TOPS (Trillions of Operations Per Second) mide la potencia máxima teórica de procesadores en inteligencia artificial, clave en tareas como visión artificial o inferencia.
En el ámbito del hardware para IA, el término TOPS se ha convertido en una métrica clave para describir la potencia de cálculo. Su uso es frecuente en especificaciones técnicas, fichas de producto y comparativas entre dispositivos.
Permite evaluar la capacidad de procesamiento en tareas como inferencia de modelos de lenguaje, visión artificial o reconocimiento de voz.
TOPS significa Trillions of Operations Per Second (trillones de operaciones por segundo). Es decir, cuantifica la capacidad de procesamiento de una NPU al medir el número de operaciones (sumas, multiplicaciones, etc.) ejecutadas en billones por segundos.
Esta métrica cuantifica el rendimiento máximo teórico de un procesador de IA, específicamente en la ejecución de operaciones matemáticas basadas en números enteros (integer). Estas operaciones, como las sumas y multiplicaciones, son los cálculos fundamentales que constituyen el núcleo de las redes neuronales.
La industria de los semiconductores ha estandarizado una fórmula para calcular el rendimiento teórico máximo de un procesador en TOPS, que es la siguiente:
Desglosemos los términos más importantes:
Las unidades MAC (Multiplicación-Acumulación) corresponden a los motores de hardware especializados en el corazón de las cargas de trabajo de IA.
Por su parte, la frecuencia es la medida de la velocidad del reloj a la que operan las MAC medidas en Hz,
Piensa en un trabajador de la construcción (MAC) se le han asignado hacer dos tareas a completar por cada turno (o ciclo): una suma y una multiplicación. Entonces:
Desglosemos la idea mental:
Un aspecto clave en la medición de TOPS es que usualmente se basa en operaciones con precisión INT8, es decir, enteros de 8 bits: esta precisión reducida permite realizar más operaciones simultáneamente comparadas con formatos de punto flotante como FP32. Esto se logra sin comprometer significativamente la calidad de los resultados en tareas de inferencia gracias a la técnica llamada cuantización.
La cuantización convierte modelos entrenados en alta precisión a formatos más ligeros como INT8, acelerando su ejecución sin perder exactitud. Esta estrategia es ideal para dispositivos con recursos limitados como smartphones o laptops, permitiendo alto rendimiento con bajo consumo energético.
Las NPUs, optimizadas para estos cálculos, aprovechan especialmente esta técnica al estar diseñadas para procesar miles de operaciones simultáneas: sacrifican versatilidad por una eficiencia sobresaliente.
Tal como se ha planteado, los TOPS son una métrica habitual en productos de consumo y soluciones de edge computing. De hecho, al punto de usar estas cifras como argumento comercial para clasificar diferentes generaciones de hardware.
Bajo esta misma mecánica, la industria estableció que un computador con capacidades de IA debía contar con al menos 40 TOPS para ejecutar modelos localmente sin depender de la nube, y hoy en día también se trata de acotar el consumo, de ahí la unidad heredada TOPS/W.
En muchos casos, solo una parte de los TOPS, declarados en las fichas técnicas, se traduce en operaciones útiles cuando se ejecutan modelos de IA.
Por otro lado, para una visión más precisa del rendimiento, es común complementar la cifra de TOPS con pruebas en modelos reales como BERT o ResNet. Estas pruebas muestran cuántas inferencias por segundo logra realmente el sistema, considerando todos los factores involucrados.
¿Qué te parecen estos temas? ¿En otros artículos trataremos qué es un teraflops y la diferencia con TOPS?
