TPU

Un chip con una sola especialidad

Las siglas son Tensor Processing Unit. Es un circuito diseñado para hacer una familia muy concreta de operaciones: las multiplicaciones y sumas de matrices que hay debajo de cualquier red neuronal. No sabe hacer nada más, y por eso las hace tan bien.

La comparación que uso cuando me lo preguntan: un procesador normal es un buen cocinero que sabe hacer de todo, plato a plato. Una TPU es una máquina de la fábrica que solo sabe cortar patatas, pero corta mil kilos mientras el cocinero pela la primera. Si tu problema es cortar patatas, ganas por goleada. Si es cualquier otra cosa, la máquina está parada.

En el mundo doméstico la TPU que se ve casi siempre es una Coral, en formato USB o en tarjeta para una ranura interna. Consume muy poco, cabe en la palma de la mano y se acopla a un mini-PC sin fuente de alimentación extra ni ventiladores.

Qué hace y qué no hace

Aquí está la confusión más común, y conviene separarlo bien. En una cadena de videovigilancia hay tres trabajos distintos:

1. Decodificar el vídeo. Convertir el flujo comprimido que manda la cámara en imágenes sueltas. Lo hace la CPU o, mejor, la GPU integrada del equipo.
2. Inferir. Pasar cada imagen por el modelo para saber qué hay en ella. Esto es lo que resuelve la TPU.
3. Grabar. Escribir a disco. Es trabajo de almacenamiento, ni de CPU ni de TPU.

La TPU solo se ocupa del segundo. Es un error caro comprarla esperando que arregle un equipo que va ahogado decodificando, porque ese cuello de botella sigue exactamente igual después de instalarla.

También conviene saber que una TPU de este tipo no entrena modelos: solo los ejecuta. Y no ejecuta cualquiera: los modelos tienen que estar preparados y cuantizados para ese chip, con los números reducidos a enteros pequeños en lugar de decimales. Eso limita el catálogo a los modelos compilados para ella —que en videovigilancia son justo los que hacen falta—, pero significa que no puedes coger un modelo cualquiera de internet y esperar que funcione.

Por qué la puse en casa

Mi montaje analiza en continuo varias cámaras con Frigate, junto a Home Assistant. Antes de la TPU, el análisis lo hacía la CPU del mini-PC: el ventilador no paraba, el equipo iba caliente y, en cuanto se movía algo en varias cámaras a la vez, el análisis se retrasaba lo suficiente como para que el aviso llegara tarde. Y un aviso tarde no es un aviso.

Con la TPU conectada, el análisis se descargó del procesador casi por completo. El efecto que noté no fue «va más rápido» en abstracto, sino tres cosas muy concretas: el equipo dejó de ir al límite, pude subir el ritmo de análisis sin penalización, y bajó el consumo del equipo, porque la inferencia deja de ocupar el procesador de forma continua.

La lección menos evidente vino después: la versión USB tiene manías. Quiere un puerto de los rápidos y un cable decente; con un alargador barato daba desconexiones intermitentes que volvían loco al sistema. Cuando por fin lo conecté como Dios manda, dejó de dar guerra. Si vuelvo a montarlo desde cero, tiro directamente al formato de ranura interna.

Por qué importa

Porque una TPU es lo que hace viable analizar vídeo en casa. Sin ella, la única forma de tener análisis decente es subir las imágenes a un servicio en la nube que las procese por ti, con lo que eso implica: tu vídeo doméstico en un servidor ajeno, una cuota mensual y dependencia de que ese servicio siga existiendo el año que viene.

Con ella, el vídeo no sale de la red de casa. Ni siquiera necesitas internet para que el sistema funcione. Ese es el argumento fuerte, y es de privacidad antes que de rendimiento.

Para un negocio pequeño el cálculo es el mismo con otra escala. Un local que quiera avisos útiles —alguien en la puerta fuera de horario, un vehículo en la zona de carga— puede tenerlos con un equipo modesto y un acelerador, sin suscripción y sin que las imágenes de su clientela y su plantilla circulen por plataformas de terceros. Y sigue habiendo obligaciones legales sobre carteles, encuadres y conservación de las grabaciones que no desaparecen porque el análisis sea local: esto no es asesoramiento jurídico, y ahí toca preguntar a un profesional.

Errores frecuentes

Comprarla para arreglar un problema que no es el suyo. Si el equipo va justo porque decodifica cinco flujos de alta resolución, la TPU no cambia nada. Antes de comprar nada hay que mirar dónde se está yendo la CPU realmente: si es decodificación, la solución es otra —aprovechar la aceleración por hardware de la gráfica integrada o analizar el flujo de baja calidad—.

Suponer que sin TPU no hay nada que hacer. Con una o dos cámaras y una CPU moderna se puede analizar perfectamente. La TPU deja de ser un capricho cuando suben las cámaras o cuando el equipo tiene que hacer algo más que esto.

Enchufarla en un puerto lento o con alargador barato. Es el fallo que más he visto contar en foros y el que sufrí yo. Se manifiesta como cortes aleatorios que parecen un problema de software y no lo son.

Esperar que reconozca cosas que el modelo no conoce. El chip acelera, no decide. Si el modelo cargado distingue personas, coches y animales, eso es lo que vas a tener. Un objeto raro, una matrícula o una cara concreta son problemas distintos, con modelos distintos y, en el caso de la cara, con implicaciones legales de otra categoría.

Pensar que un acelerador sustituye a colocar bien las cámaras. Ninguna cantidad de cálculo arregla un encuadre contra el sol, una lente sucia o una cámara a tres metros de altura mirando al suelo. El chip mejora lo que ve; no inventa lo que no está en la imagen.