Investigadores del Instituto Tecnológico de Massachusetts (MIT), a través de su Computer Science and Artificial Intelligence Laboratory (CSAIL) y del Toyota Research Institute, han desarrollado SceneSmith, un sistema que utiliza agentes de inteligencia artificial para generar entornos interiores 3D destinados al entrenamiento de robots en simulación. La herramienta crea escenas como restaurantes, dormitorios u hoteles con mayor nivel de detalle que métodos anteriores, con el objetivo de reducir el tiempo dedicado a pruebas físicas y ampliar los datos disponibles para el aprendizaje robótico.
El trabajo aborda uno de los principales obstáculos de la robótica: la obtención de datos de experiencia en escenarios variados. Aunque los motores físicos para simuladores han avanzado en los últimos años, sigue siendo complejo producir contenidos suficientemente ricos y diversos para reproducir la complejidad del mundo real, especialmente en tareas domésticas, logísticas o industriales.
SceneSmith genera escenas 3D con agentes de IA y modelos visión-lenguaje
SceneSmith opera con tres agentes basados en un modelo visión-lenguaje (VLM), en concreto GPT-5.2. El primero actúa como diseñador y define los elementos de la escena; el segundo ejerce como crítico y revisa si el resultado es verosímil; y el tercero coordina el intercambio entre ambos y decide cuándo el diseño está listo. Una vez completado este proceso, la escena puede cargarse directamente en software de simulación física.
Según el equipo, el sistema ha generado más de 1.300 escenas mediante un VLM entrenado con grandes volúmenes de texto e imágenes de internet. A partir de instrucciones como crear un garaje con un coche, un banco de trabajo, neumáticos apilados y una escalera apoyada en la pared, la herramienta produce espacios virtuales con objetos que los robots pueden manipular. Estas habitaciones incorporan hasta seis veces más elementos por escena que métodos previos.
Los entornos creados permiten ensayar tareas como colocar una taza en el fregadero, poner fruta en platos o mover una lata de refresco desde una estantería hasta una mesa. En una prueba, los investigadores generaron 100 espacios únicos para evaluar distintos planes de acción, también denominados políticas. Un agente VLM revisó los intentos y detectó fallos frecuentes en las acciones del robot; las evaluaciones humanas coincidieron con sus dictámenes en más del 99% de los casos.
Pruebas de realismo, interacción física y comparación con otros métodos
Para analizar el realismo de los escenarios, el equipo introdujo en ellos una política robótica preentrenada, basada en gran medida en datos del mundo real y que no había visto escenas de SceneSmith. En una prueba, ante la instrucción de tomar una manzana de un cuenco y colocarla sobre una tabla de cortar, el robot simulado completó la acción. Los investigadores también teleoperaron robots en los espacios virtuales para abrir armarios, guardar botellas y desplazarse entre habitaciones.
El proceso generativo se desarrolla por fases. Los agentes crean primero un plano general, incorporan mobiliario, añaden objetos en paredes y techos y, finalmente, introducen elementos manipulables por robots. Entre ellos figuran armarios articulados que pueden abrirse y cerrarse, un tipo de activo que no aparecía con frecuencia en referencias previas. El agente crítico puede recomendar cambios, como retirar una bañera de un salón, mientras que el coordinador puede hacer retroceder el diseño si la calidad visual no resulta suficiente.
Frente a sistemas de generación de escenas como HSM y Holodeck, SceneSmith produjo entornos con más objetos, incluida una oficina privada, una tienda de cerámica y una sala de videojuegos con temática de Minecraft. En una evaluación con más de 200 usuarios, los participantes consideraron que sus visuales eran más realistas en más del 90% de las ocasiones y observaron que, en general, seguía las instrucciones con mayor precisión que otros enfoques.
El sistema también puede generar objetos 3D individuales. A partir de una petición para crear un carrito de servicio con ruedas, produce primero una imagen 2D y después la transforma en un modelo detallado con propiedades físicas como masa, fricción e inercia. Esta precisión tiene un coste temporal: la creación de una sola escena puede requerir varias horas, debido a que los agentes generan y revisan cada objeto. El equipo espera mejorar la eficiencia con más capacidad de computación y ampliar el sistema a objetos deformables, como esponjas, si existen bibliotecas 3D suficientemente extensas.
La entrada Investigadores del MIT desarrollan una IA capaz de crear entornos 3D para el aprendizaje de robots aparece primero en CASADOMO.