Este reto busca desarrollar una solución basada en Inteligencia Artificial Generativa que permita simplificar la programación de robots mediante instrucciones en lenguaje natural.
Reto planteado en el proyecto AI-BOOST a través del AI Challenge Competition.
Descripción del reto
Actualmente, la programación de robots requiere conocimientos especializados en programación, configuración de misiones y entornos como ROS (Robot Operating System), lo que dificulta su adopción por parte de muchas empresas y operadores sin experiencia técnica. Este reto busca eliminar esa barrera mediante el desarrollo de una solución capaz de traducir instrucciones expresadas en lenguaje natural en órdenes que puedan ser ejecutadas automáticamente por un robot.
La solución deberá integrar tecnologías de reconocimiento de voz, modelos de lenguaje de gran tamaño (LLM) y modelos Vision-Language-Action (VLA) para interpretar la intención del usuario, comprender el contexto y generar planes de misión compatibles con ROS.
Aunque el caso de uso se centrará en aplicaciones agrícolas, la solución deberá ser escalable y aplicable a otros ámbitos como la inspección robótica, el mantenimiento industrial o las operaciones autónomas en campo.
Objetivos
- Desarrollar un sistema capaz de convertir instrucciones habladas en comandos estructurados.
- Implementar un modelo basado en LLM que interprete la intención del usuario y descomponga automáticamente las tareas.
- Traducir instrucciones en lenguaje natural a planes de misión ejecutables compatibles con ROS.
- Integrar información visual y mapas para generar misiones adaptadas al contexto.
- Validar el funcionamiento de la solución sobre una plataforma robótica real.
Resultado esperado
El objetivo final es obtener una Prueba de Concepto (TRL 5) capaz de generar y ejecutar de forma autónoma misiones robóticas a partir de instrucciones en lenguaje natural en un entorno controlado.
Indicadores de evaluación
Las propuestas serán evaluadas, entre otros aspectos, en función de:
- Precisión en la interpretación de las instrucciones del usuario.
- Éxito en la planificación y ejecución de las misiones robóticas.
- Robustez frente a diferentes formas de expresar una misma instrucción.
- Tiempo necesario para generar una misión ejecutable.
Infraestructura disponible
Los participantes podrán validar sus soluciones en una plataforma robótica ubicada en las instalaciones de JOiiNT LAB (Italia), donde dispondrán de un entorno experimental basado en un viñedo real, robots compatibles con ROS, mapas del entorno y los datos necesarios para el desarrollo y validación de las propuestas.
Plazo para optar
Del 19 de junio al 25 de agosto
Más información sobre el reto
Más información sobre cómo presentarse y qué se recibe al resolver el reto
