Desde hace un par de años, la mayoría de los portátiles incorporan una Unidad de Procesamiento Neuronal (NPU) para realizar tareas de Inteligencia Artificial de forma local sin depender de una conexión a Internet ni de la potencia que pueda ofrecer una GPU dedicada. Si tus planes no pasan por renovar tu actual portátil por uno con NPU o tienes un PC de sobremesa con o sin gráfica dedicada puedes añadir una NPU a tu equipo actual.
Una de las opciones más potentes disponibles en el mercado para añadir una NPU a cualquier PC acaba de presentarla ASUS. Hablamos del UGen300, un USB diseñado para llevar la inferencia de modelos generativos a cualquier dispositivo, sin depender de la nube, una solución diseñada para satisfacer las cada vez más elevadas necesidades de soluciones nativas para IA entre desarrolladores, empresas, entusiastas que quieren ejecutara modelos de lenguaje de forma local.
ASUS UGen300 USB AI Accelerator para edge computing: 40 TOPS en el bolsillo
Está diseñado para añadir potencia de inferencia a cualquier dispositivo, ya sea un portátil, un PC de sobremesa, un mini PC, dispositivos embebidos e incluso a sistemas Android. Este dispositivo tiene un formato muy reducido (105 x 50 x 18 mm), lo que hace que sea muy sencillo no solo de transportar sino también de conectarlo a cualquier equipo a través del puerto USB-C 3.1 Gen 2.
El ASUS UGeen 300 complementa la potencia de la CPU y NPU (si estuviera disponible) del sistema al que se conecta para encargarse de tareas de inferencia y liberar recursos del equipo para generar textos, resúmenes de vídeo entre otros muchos usos.
En el interior de este pequeño dispositivo se encuentra le procesador Hailo-10H, un chip de IA capaz de ofrecer hasta 40 TOPS de potencia, capacidad más que suficiente para cargas de trabajo de IA generativa, incluyendo modelos de lenguaje grandes (LLM) y modelos VLM entre otros.
Junto al procesador encontramos 8 GB de memoria LPDDR4 dedicada únicamente para tareas de IA, lo que permite gestionar modelos de mayor tamaño sin necesidad de saturar los recursos del equipo anfitrión.
