Gemini Robotics ER 2 funciona como una capa de razonamiento de alto nivel que recibe video, audio y texto, selecciona las herramientas necesarias y delega los movimientos a modelos VLA o interfaces de control. También supervisa el avance de una acción, ajusta el plan cuando detecta un problema y distribuye tareas entre máquinas con capacidades diferentes.
Un modelo VLA, sigla de visión, lenguaje y acción, interpreta imágenes o video, comprende instrucciones en lenguaje natural y genera acciones para que un robot ejecute una tarea. En Gemini Robotics ER 2, el modelo VLA traduce la planificación de alto nivel en movimientos y comandos concretos para el sistema robótico.
Gemini Robotics ER 2 separa la planificación de la ejecución motora
DeepMind define Gemini Robotics ER 2 como un modelo de razonamiento para robótica que interpreta el entorno, recibe instrucciones en lenguaje natural y organiza tareas compuestas por varios pasos. El sistema controla la planificación general, mientras un modelo VLA convierte esas decisiones en movimientos concretos.
Su funcionamiento combina distintas fuentes de información y herramientas de control:
- Coordinación de sistemas robóticos: en una demostración, el modelo utilizó las interfaces de navegación y manipulación de Spot, el robot de Boston Dynamics, para localizar un paquete de palomitas tras recibir una instrucción verbal.
- Modelos y funciones externas: los desarrolladores pueden registrar un modelo VLA, una API de navegación u otras funciones definidas para cada robot.
- Entrada continua de información: el modelo recibe video, audio y texto mientras la tarea permanece en ejecución.
- Planificación durante el movimiento: Gemini Robotics ER 2 puede preparar el paso siguiente mientras el robot completa la acción actual y consultar Google Search cuando necesita información adicional.
- Comunicación de baja latencia: la integración con Gemini Live API utiliza transmisión bidireccional para reducir las pausas entre el análisis del entorno y la ejecución de movimientos.
¿Qué comparte Gemini Robotics ER 2 con la conducción automatizada y dónde se diferencian?
A modo de referencia editorial, la arquitectura de Gemini Robotics ER 2 resulta más fácil de entender si se traza un paralelo con la conducción automatizada. Ambos sistemas comparten un principio fundamental: separar el cerebro que toma las decisiones de los mecanismos que ejecutan el movimiento. Sin embargo, toman caminos distintos al interpretar su entorno; mientras un vehículo analiza geometría y física estricta para navegar sin chocar, el modelo robótico utiliza lenguaje natural y video para comprender el contexto y orquestar una tarea.
El video continuo permite medir cuánto falta para completar una tarea
El sistema divide el análisis de video en dos áreas: evaluar cuánto ha avanzado una acción y encontrar su instante crítico. Para medir el progreso, la IA segmenta la actividad en cinco etapas. De esta forma, si el robot comete un error, sabe exactamente desde qué punto retomar el trabajo sin tener que empezar de cero.
Por otro lado, la búsqueda de momentos específicos le permite identificar el cuadro exacto en que debe detenerse, como cortar el flujo al servir una taza de café. Google reporta que Gemini Robotics ER 2 alcanza un 91.3% de precisión en esto, con un margen de error menor a un segundo, operando cuatro veces más rápido que modelos mucho más grandes.
La coordinación multirrobot reparte el trabajo entre máquinas distintas
Gemini Robotics ER 2 logra que varios robots se transfieran etapas de una misma tarea porque procesan el entorno y las instrucciones bajo un mismo lenguaje. La demostración publicada por Google reúne a los modelos Apollo 2 de Apptronik y Franka F3 Duo, que colaboran en un espacio común pese a sus diferencias físicas y de movilidad.
Este control de alto nivel no reemplaza a los sistemas responsables del movimiento, sino que decide qué interfaz actúa y en qué orden. Una sola capa de planificación puede orquestar equipos de diferentes marcas, siempre que sus modelos de acción, sistemas de navegación o APIs estén declarados como herramientas del sistema.
Las pruebas espaciales incluyen fallos en video, preguntas e instrumentos
Para medir el razonamiento espacial del modelo, las evaluaciones se enfocaron en tres áreas:
- Detectar errores.
- Responder preguntas sobre el entorno.
- Leer herramientas de medición.
La gran mejora es que el sistema procesa el video en bruto (en RAW) para identificar al instante derrames de líquidos, objetos que se resbalan o piezas mal alineadas mientras ejecuta una acción.
Por su parte, la comprensión visual se amplió para que el modelo pueda interpretar de forma autónoma diez tipos de instrumentos, abarcando desde pantallas digitales y termómetros de líquido, hasta reglas y escalas tradicionales.
La seguridad se evalúa con instrucciones físicas y personas a 1 m
La gran G sumó una nueva capa de pruebas para garantizar que el modelo respete las restricciones físicas del mundo real. Esto implica vigilar constantemente el entorno, evaluar si una orden es segura antes de ejecutarla y detenerse a pedir aclaraciones a un humano si la instrucción resulta ambigua.
En la práctica, los de Mountain View comprobaron que ER 2 es capaz de frenar en seco a un robot humanoide si detecta que una persona se acerca a menos de 1 m, retomando el trabajo de forma autónoma solo cuando el área vuelve a estar completamente despejada.
