Gemini Robotics ER 2 coordina tareas robóticas, sigue su progreso por video y delega movimientos a modelos VLA y APIs de control durante la ejecución.
Créditos: Google
Gemini Robotics ER 2 funciona como una capa de razonamiento de alto nivel que recibe video, audio y texto, selecciona las herramientas necesarias y delega los movimientos a modelos VLA o interfaces de control. También supervisa el avance de una acción, ajusta el plan cuando detecta un problema y distribuye tareas entre máquinas con capacidades diferentes.
Un modelo VLA, sigla de visión, lenguaje y acción, interpreta imágenes o video, comprende instrucciones en lenguaje natural y genera acciones para que un robot ejecute una tarea. En Gemini Robotics ER 2, el modelo VLA traduce la planificación de alto nivel en movimientos y comandos concretos para el sistema robótico.
DeepMind define Gemini Robotics ER 2 como un modelo de razonamiento para robótica que interpreta el entorno, recibe instrucciones en lenguaje natural y organiza tareas compuestas por varios pasos. El sistema controla la planificación general, mientras un modelo VLA convierte esas decisiones en movimientos concretos.
Su funcionamiento combina distintas fuentes de información y herramientas de control:
A modo de referencia editorial, la arquitectura de Gemini Robotics ER 2 resulta más fácil de entender si se traza un paralelo con la conducción automatizada. Ambos sistemas comparten un principio fundamental: separar el cerebro que toma las decisiones de los mecanismos que ejecutan el movimiento. Sin embargo, toman caminos distintos al interpretar su entorno; mientras un vehículo analiza geometría y física estricta para navegar sin chocar, el modelo robótico utiliza lenguaje natural y video para comprender el contexto y orquestar una tarea.
El sistema divide el análisis de video en dos áreas: evaluar cuánto ha avanzado una acción y encontrar su instante crítico. Para medir el progreso, la IA segmenta la actividad en cinco etapas. De esta forma, si el robot comete un error, sabe exactamente desde qué punto retomar el trabajo sin tener que empezar de cero.
Por otro lado, la búsqueda de momentos específicos le permite identificar el cuadro exacto en que debe detenerse, como cortar el flujo al servir una taza de café. Google reporta que Gemini Robotics ER 2 alcanza un 91.3% de precisión en esto, con un margen de error menor a un segundo, operando cuatro veces más rápido que modelos mucho más grandes.
Gemini Robotics ER 2 logra que varios robots se transfieran etapas de una misma tarea porque procesan el entorno y las instrucciones bajo un mismo lenguaje. La demostración publicada por Google reúne a los modelos Apollo 2 de Apptronik y Franka F3 Duo, que colaboran en un espacio común pese a sus diferencias físicas y de movilidad.
Este control de alto nivel no reemplaza a los sistemas responsables del movimiento, sino que decide qué interfaz actúa y en qué orden. Una sola capa de planificación puede orquestar equipos de diferentes marcas, siempre que sus modelos de acción, sistemas de navegación o APIs estén declarados como herramientas del sistema.
Para medir el razonamiento espacial del modelo, las evaluaciones se enfocaron en tres áreas:
La gran mejora es que el sistema procesa el video en bruto (en RAW) para identificar al instante derrames de líquidos, objetos que se resbalan o piezas mal alineadas mientras ejecuta una acción.
Por su parte, la comprensión visual se amplió para que el modelo pueda interpretar de forma autónoma diez tipos de instrumentos, abarcando desde pantallas digitales y termómetros de líquido, hasta reglas y escalas tradicionales.
La gran G sumó una nueva capa de pruebas para garantizar que el modelo respete las restricciones físicas del mundo real. Esto implica vigilar constantemente el entorno, evaluar si una orden es segura antes de ejecutarla y detenerse a pedir aclaraciones a un humano si la instrucción resulta ambigua.
En la práctica, los de Mountain View comprobaron que ER 2 es capaz de frenar en seco a un robot humanoide si detecta que una persona se acerca a menos de 1 m, retomando el trabajo de forma autónoma solo cuando el área vuelve a estar completamente despejada.
