NVIDIA dejó disponible en beta pública XR AI, una biblioteca para desarrolladores orientada a crear agentes de IA multimodal en gafas de realidad aumentada y dispositivos XR. La propuesta busca que estos sistemas no funcionen solo como asistentes conversacionales, sino como herramientas capaces de interpretar el entorno físico, acceder a información contextual y entregar apoyo durante tareas técnicas.
NVIDIA XR AI: Una beta para agentes que trabajan con señales del entorno físico
XR AI está pensada para combinar entradas de video, audio, profundidad, pose y sensores provenientes de dispositivos AR y XR. Con esos datos, los desarrolladores pueden crear agentes que entiendan parte del espacio donde opera el usuario y entreguen asistencia durante trabajos manuales o procedimientos complejos.
El repositorio alojado en GitHub también considera integración con modelos de razonamiento, recuperación de información empresarial y herramientas para coordinar agentes. En términos prácticos, esto permite que una aplicación no dependa solo de una pregunta escrita o hablada, sino que use señales del entorno para responder con mayor contexto.
NVIDIA también plantea el uso de XR AI junto con herramientas de razonamiento, recuperación de información empresarial y servicios de ejecución acelerada. Esa combinación ubica la beta en una etapa de desarrollo, pensada para crear prototipos y aplicaciones especializadas antes que productos de consumo masivo.
Laboratorios científicos y pabellones quirúrgicos aparecen como los usos interesantes
El caso más claro está en Rana, una compañía de AutoBio, que está usando XR AI en su sistema LabOS para flujos de trabajo científicos. La aplicación apunta a entregar guía manos libres en laboratorios, con primeros usos asociados a terapias con células madre e investigación de edición genética en el Cong Lab de Stanford University School of Medicine y el Wang Lab de Princeton University.
En ese escenario, el agente puede ayudar a identificar la muestra correcta, seleccionar el editor genético CRISPR adecuado, guiar pasos experimentales y registrar una trazabilidad estructurada del procedimiento. No reemplaza al investigador, pero puede reducir errores de seguimiento en tareas donde el orden, el contexto y la documentación son críticos.
Por otra parte, el Surreality Lab de University of Pittsburgh Medical Center mostró una línea de trabajo donde XR AI puede asistir a equipos quirúrgicos con información contextual, cuidando que los elementos visuales no tapen áreas relevantes de la vista del cirujano.
En ese trabajo, el objetivo es que la información contextual se presente sin bloquear áreas relevantes de la visión del cirujano ni interferir con el procedimiento.
