RT-2: El nuevo modelo traduce la visión y el lenguaje en acción

Robotic Transformer 2 (RT-2)


Robotic Transformer 2 (RT-2) es un modelo novedoso de visión-lenguaje-acción (VLA) que aprende de datos web y robóticos y traduce este conocimiento en instrucciones generalizadas para el control robótico.

Los modelos de lenguaje de visión (VLM) de alta capacidad se entrenan en conjuntos de datos a escala web, lo que hace que estos sistemas sean notablemente buenos para reconocer patrones visuales o de lenguaje y operar en diferentes idiomas. Pero para que los robots alcancen un nivel similar de competencia, necesitarían recopilar datos de robots, de primera mano, en cada objeto, entorno, tarea y situación. 

En nuestro artículo , presentamos Robotic Transformer 2 (RT-2), un modelo novedoso de visión-lenguaje-acción (VLA) que aprende de datos web y robóticos, y traduce este conocimiento en instrucciones generalizadas para el control robótico, al tiempo que retiene web- capacidades de escala.

Adaptación de VLM para el control robótico

RT-2 se basa en VLM que toman una o más imágenes como entrada y producen una secuencia de tokens que, convencionalmente, representan texto en lenguaje natural. Dichos VLM se han capacitado con éxito en datos a escala web para realizar tareas, como respuestas visuales a preguntas, subtítulos de imágenes o reconocimiento de objetos. En nuestro trabajo, adaptamos el modelo Pathways Language and Image ( PaLI-X ) y Pathways Language model Embodied ( PaLM-E ) para actuar como la columna vertebral de RT-2.

Generalización y habilidades emergentes

Realizamos una serie de experimentos cualitativos y cuantitativos en nuestros modelos RT-2, en más de 6000 pruebas robóticas. Al explorar las capacidades emergentes de RT-2, primero buscamos tareas que requirieran combinar el conocimiento de los datos a escala web y la experiencia del robot, y luego definimos tres categorías de habilidades: comprensión de símbolos, razonamiento y reconocimiento humano. 

Cada tarea requería comprender conceptos semánticos visuales y la capacidad de realizar un control robótico para operar con estos conceptos. Se requieren comandos como "recoge la bolsa que está a punto de caerse de la mesa" o "mueve el plátano a la suma de dos más uno", donde se le pide al robot que realice una tarea de manipulación en objetos o escenarios nunca vistos en los datos robóticos. conocimiento traducido de datos basados ​​en la web para operar. 

Ref: https://robotics-transformer2.github.io/assets/rt2.pdf

Comentarios

Publicar un comentario

Entradas más populares de este blog

Scaling data-driven robotics with reward sketching and batch reinforcement learning

Imagen
Al aprovechar un conjunto de datos cada vez mayor de la experiencia del robot, aprendemos políticas de control para un conjunto diverso y creciente de tareas de manipulación relacionadas. Para que esto sea posible, presentamos bosquejo de recompensas: una forma efectiva de obtener preferencias humanas para aprender la función de recompensa para una nueva tarea. esta recompensa luego se usa para anotar retrospectivamente todos los datos históricos. datos, recopilados para diferentes tareas, con recompensas previstas para la nueva tarea. El conjunto de datos masivo anotado resultante puede entonces utilizarse para aprender políticas de manipulación con refuerzo por lotes aprendizaje (RL) de la entrada visual de una manera completamente fuera de línea, es decir, sin interacciones con el robot real. Este enfoque hace que posible escalar RL en robótica, ya que ya no necesitamos ejecutar el robot para cada paso del aprendizaje. Mostramos que los entrenados Los agentes de RL por lotes, cuando
Leer más

RoboCat: A self-improving robotic agent

Imagen
 RoboCat: un agente robótico que se mejora a sí mismo El nuevo agente de la fundación aprende a operar diferentes brazos robóticos, resuelve tareas con tan solo 100 demostraciones y mejora a partir de datos autogenerados. Los robots se están convirtiendo rápidamente en parte de nuestra vida cotidiana, pero a menudo solo están programados para realizar bien tareas específicas. Si bien aprovechar los avances recientes en IA podría conducir a robots que podrían ayudar de muchas más maneras, el progreso en la construcción de robots de uso general es más lento en parte debido al tiempo necesario para recopilar datos de entrenamiento del mundo real.  Nuestro último artículo presenta un agente de inteligencia artificial para la robótica que se mejora a sí mismo, RoboCat, que aprende a realizar una variedad de tareas en diferentes brazos y luego autogenera nuevos datos de entrenamiento para mejorar su técnica.  Investigaciones anteriores han explorado cómo desarrollar robots que puedan aprende
Leer más

Control de robot de paso largo potenciado por ChatGPT en varios entornos

Imagen
Se puede usar ChatGPT de OpenAI en una configuración de few-shot para convertir instrucciones en lenguaje natural en una secuencia de acciones de robot ejecutables. Generación de programas para robots a partir de lenguaje natural instrucciones es un objetivo atractivo, pero la aplicación práctica usando ChatGPT todavía está en sus primeras etapas y no hay metodología todavía. Aquí, hemos diseñado indicaciones de entrada fáciles de personalizar para ChatGPT que cumplen con los requisitos comunes en muchos aplicaciones prácticas, que incluyen:  1) fácil integración con sistemas de ejecución de robots o programas de reconocimiento visual,  2) aplicabilidad a varios entornos, y  3) la capacidad de proporcionar instrucciones de pasos largos mientras se minimiza el impacto del token de ChatGPT límite.   Específicamente, las indicaciones alientan a ChatGPT a  1) generar una secuencia de acciones de robot predefinidas con explicaciones en un formato JSON legible,  2) representar el entorno op
Leer más