Control de robot de paso largo potenciado por ChatGPT en varios entornos

Se puede usar ChatGPT de OpenAI en una configuración de few-shot para convertir instrucciones en lenguaje natural en una secuencia de acciones de robot ejecutables. Generación de programas para robots a partir de lenguaje natural instrucciones es un objetivo atractivo, pero la aplicación práctica usando ChatGPT todavía está en sus primeras etapas y no hay metodología todavía. Aquí, hemos diseñado indicaciones de entrada fáciles de personalizar para ChatGPT que cumplen con los requisitos comunes en muchos aplicaciones prácticas, que incluyen: 

1) fácil integración con sistemas de ejecución de robots o programas de reconocimiento visual, 

2) aplicabilidad a varios entornos, y 

3) la capacidad de proporcionar instrucciones de pasos largos mientras se minimiza el impacto del token de ChatGPT límite.

 

Específicamente, las indicaciones alientan a ChatGPT a 

1) generar una secuencia de acciones de robot predefinidas con explicaciones en un formato JSON legible, 

2) representar el entorno operativo en un estilo formalizado, y 

3) inferir y generar el estado actualizado de el entorno operativo como resultado de cada operación, que se ingresará con la siguiente instrucción para permitir que ChatGPT funcione basándose únicamente en la memoria de las últimas operaciones. 


A través de experimentos, confirmamos que las indicaciones propuestas permiten ChatGPT para actuar de acuerdo con los requisitos en diversos entornos. Además, observamos que la conversación de ChatGPT. La capacidad permite a los usuarios ajustar su salida con retroalimentación en lenguaje natural, lo cual es crucial para desarrollar una aplicación que sea a la vez seguro y robusto al mismo tiempo que proporciona una interfaz fácil de usar. Los usuarios pueden personalizar fácilmente las indicaciones como plantillas.

O de otra manera usar API de CHATGPT

sourse: https://arxiv.org/pdf/2304.03893.pdf

Comentarios

Publicar un comentario

Entradas más populares de este blog

Scaling data-driven robotics with reward sketching and batch reinforcement learning

Imagen
Al aprovechar un conjunto de datos cada vez mayor de la experiencia del robot, aprendemos políticas de control para un conjunto diverso y creciente de tareas de manipulación relacionadas. Para que esto sea posible, presentamos bosquejo de recompensas: una forma efectiva de obtener preferencias humanas para aprender la función de recompensa para una nueva tarea. esta recompensa luego se usa para anotar retrospectivamente todos los datos históricos. datos, recopilados para diferentes tareas, con recompensas previstas para la nueva tarea. El conjunto de datos masivo anotado resultante puede entonces utilizarse para aprender políticas de manipulación con refuerzo por lotes aprendizaje (RL) de la entrada visual de una manera completamente fuera de línea, es decir, sin interacciones con el robot real. Este enfoque hace que posible escalar RL en robótica, ya que ya no necesitamos ejecutar el robot para cada paso del aprendizaje. Mostramos que los entrenados Los agentes de RL por lotes, cuando
Leer más

RoboCat: A self-improving robotic agent

Imagen
 RoboCat: un agente robótico que se mejora a sí mismo El nuevo agente de la fundación aprende a operar diferentes brazos robóticos, resuelve tareas con tan solo 100 demostraciones y mejora a partir de datos autogenerados. Los robots se están convirtiendo rápidamente en parte de nuestra vida cotidiana, pero a menudo solo están programados para realizar bien tareas específicas. Si bien aprovechar los avances recientes en IA podría conducir a robots que podrían ayudar de muchas más maneras, el progreso en la construcción de robots de uso general es más lento en parte debido al tiempo necesario para recopilar datos de entrenamiento del mundo real.  Nuestro último artículo presenta un agente de inteligencia artificial para la robótica que se mejora a sí mismo, RoboCat, que aprende a realizar una variedad de tareas en diferentes brazos y luego autogenera nuevos datos de entrenamiento para mejorar su técnica.  Investigaciones anteriores han explorado cómo desarrollar robots que puedan aprende
Leer más