Software Engineering Agents for Embodied Controller Generation : A Study in Minigrid Environments
Résumé
Software Engineering Agents (SWE-Agents) have proven effective for traditional software engineering tasks with accessible codebases, but their performance for embodied tasks requiring well-designed information discovery remains unexplored. We present the first extended evaluation of SWE-Agents on controller generation for embodied tasks, adapting Mini-SWE-Agent (MSWEA) to solve 20 diverse embodied tasks from the Minigrid environment. Our experiments compare agent performance across different information access conditions: with and without environment source code access, and with varying capabilities for interactive exploration. We quantify how different information access levels affect SWE-Agent performance for embodied tasks and analyze the relative importance of static code analysis versus dynamic exploration for task solving. This work establishes controller generation for embodied tasks as a crucial evaluation domain for SWE-Agents and provides baseline results for future research in efficient reasoning systems.
Les agents d'ingénierie logicielle (SWE-Agents) ont prouvé leur efficacité pour les tâches traditionnelles d'ingénierie logicielle avec des bases de code accessibles, mais leurs performances pour les tâches incarnées nécessitant une découverte d'informations bien conçue restent inexplorées. Nous présentons la première évaluation approfondie des SWE-Agents sur la génération de contrôleurs pour les tâches incarnées, en adaptant Mini-SWE-Agent (MSWEA) pour résoudre 20 tâches incarnées diverses à partir de l'environnement Minigrid. Nos expériences comparent les performances des agents dans différentes conditions d'accès à l'information : avec et sans accès au code source de l'environnement, et avec des capacités variables d'exploration interactive. Nous quantifions l'impact des différents niveaux d'accès à l'information sur les performances des agents SWE pour les tâches incarnées et analysons l'importance relative de l'analyse statique du code par rapport à l'exploration dynamique pour la résolution des tâches. Ce travail établit la génération de contrôleurs pour les tâches incarnées comme un domaine d'évaluation crucial pour les agents SWE et fournit des résultats de référence pour les recherches futures sur les systèmes de raisonnement efficaces.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|---|
| Licence |