Reactive plan execution in multi-agent environments

Abstract

[ES] Uno de los desafı́os de la robótica es desarrollar sistemas de control capaces de obtener rápidamente respuestas adecuadas e inteligentes para los cambios constantes que tienen lugar en entornos dinámicos. Esta respuesta debe ofrecerse almomento con el objetivo de reanudar la ejecución del plan siempre que se produzca un fallo en el mismo.El término planificación reactiva aborda todos los mecanismos que, directa o indirectamente, promueven la resolución de fallos durante la ejecución del plan. Los sistemas de planificación reactiva funcionan bajo un enfoque de planificación y ejecución continua, es decir, se intercala planificación y ejecución en entornos dinámicos.

Muchas de las investigaciones actuales se centran en desarrollar planificadores reactivos que trabajan en escenarios de un único agente para recuperarse rápidamente de los fallos producidos durante la ejecución del plan, pero, si esto no es posible, pueden requerirse arquitecturas de múltiples agentes y métodos de recuperación más complejos donde varios agentes puedan participar para solucionar el fallo. Por lo tanto, los sistemas de planificación y ejecución continua generalmente generan soluciones para un solo agente. La complejidad de establecer comunicaciones entre los agentes en entornos dinámicos y con restricciones de tiempo ha desanimado a los investigadores a implementar soluciones reactivas donde colaboren varios agentes.

En línea con esta investigación, la presente tesis doctoral intenta superar esta brecha y presenta un modelo de ejecución y planificación reactiva multiagente que realiza un seguimiento de la ejecución de un agente para reparar los fallos con ayuda de otros agentes. En primer lugar, proponemos una arquitectura que comprende un modelo general reactivo de planificación y ejecución que otorga a un agente capacidades de monitorización y ejecución. El modelo también incorpora un planificador reactivo que proporciona al agente respuestas rápidas para recuperarse de los fallos que se pueden producir durante la ejecución del plan. Por lo tanto, la misión de un agente de ejecución es monitorizar, ejecutar y reparar un plan, si ocurre un fallo durante su ejecución.

El planificador reactivo está construido sobre un proceso de busqueda limitada en el tiempo que busca soluciones de recuperación para posibles fallos que pueden ocurrir. El agente genera los espacios de búsqueda en tiempo de ejecución con una construcción iterativa limitada en el tiempo que garantiza que el modelo siempre tendrá un espacio de búsqueda disponible para atender un fallo inmediato del plan. Por lo tanto, la única operación que debe hacerse es buscar en el espacio de búsqueda hasta que se encuentre una solución de recuperación. Evaluamos el rendimiento y la reactividad de nuestro planificador reactivo mediante la realización de dos experimentos. Evaluamos la reactividad del planificador para construir espacios de búsqueda dentro de un tiempo disponible dado, asi como támbien, evaluamos el rendimiento y calidad de encontrar soluciones con otros dos métodos deliberativos de planificación.

Luego de las investigaciones de un solo agente, propusimos extender el modelo a un contexto de múltiples agentes para la reparación colaborativa donde al menos dos agentes participan en la solución final. El objetivo era idear un modelo de ejecución y planificación reactiva multiagente que garantice el flujo continuo e ininterrumpido de los agentes de ejecución. El modelo reactivo multiagente proporciona un mecanismo de colaboración para reparar una tarea cuando un agente no puede reparar la falla por sí mismo.

Para evaluar nuestro sistema, diseñamos diferentes situaciones en tres dominios de planificación del mundo real.

Finalmente, el documento presenta algunas conclusiones y también propone futuras lı́neas de investigación posibles.

[CA] Un dels desafiaments de la robòtica és desenvolupar sistemes de control capaços d'obtindre ràpidament respostes adequades i intel·ligents per als canvis constants que tenen lloc en entorns dinàmics. Aquesta resposta ha d'oferir-se al moment amb l'objectiu de reprendre l'execució del pla sempre que es produı̈sca una fallada en aquest. El terme planificació reactiva aborda tots els mecanismes que, directa o indirectament, promouen la resolució de fallades durant l'execució del pla. Els sistemes de planificació reactiva funcionen sota un enfocament de planificació i execució contı́nua, és a dir, s'intercala planificació i execució en entorns dinàmics.

Moltes de les investigacions actuals se centren en desenvolupar planificadors reactius que treballen en escenaris d'un únic agent per a recuperar-se ràpidament de les fallades produı̈des durant l'execució del pla, però, si això no és possible, poden requerir-se arquitectures de múltiples agents i mètodes de recuperació més complexos on diversos agents puguen participar per a solucionar la fallada. Per tant, els sistemes de planificació i execució contı́nua generalment generen solucions per a un sol agent. La complexitat d'establir comunicacions entre els agents en entorns dinàmics i amb restriccions de temps ha desanimat als investigadors a implementar solucions reactives on col·laboren diversos agents.

En lı́nia amb aquesta investigació, la present tesi doctoral intenta superar aquesta bretxa i presenta un model d'execució i planificació reactiva multiagent que realitza un seguiment de l'execució d'un agent per a reparar les fallades amb ajuda d'altres agents.

En primer lloc, proposem una arquitectura que comprén un model general reactiu de planificació i execució que atorga a un agent capacitats de monitoratge i execució. El model també incorpora un planificador reactiu que proporciona a l'agent respostes ràpides per a recuperar-se de les fallades que es poden produir durant l'execució del pla. Per tant, la missió d'un agent d'execució és monitorar, executar i reparar un pla, si ocorre una fallada durant la seua execució.

El planificador reactiu està construı̈t sobre un procés de cerca limitada en el temps que busca solucions de recuperació per a possibles fallades que poden ocórrer. L'agent genera els espais de cerca en temps d'execució amb una construcció iterativa limitada en el temps que garanteix que el model sempre tindrà un espai de cerca disponible per a atendre una fallada immediata del pla. Per tant, l'única operació que ha de fer-se és buscar en l'espai de cerca fins que es trobe una solució de recuperació. Avaluem el rendiment i la reactivitat del nostre planificador reactiu mitjançant la realització de dos experiments. Avaluem la reactivitat del planificador per a construir espais de cerca dins d'un temps disponible donat, aixı́ com també, avaluem el rendiment i qualitat de trobar solucions amb altres dos mètodes deliberatius de planificació.

Després de les investigacions d'un sol agent, vam proposar estendre el model a un context de múltiples agents per a la reparació col·laborativa on almenys dos agents participen en la solució final. L'objectiu era idear un model d'execució i planificació reactiva multiagent que garantisca el flux continu i ininterromput dels agents d'execució. El model reactiu multiagent proporciona un mecanisme de col·laboració per a reparar una tasca quan un agent no pot reparar la falla per si mateix. Explota les capacitats de planificació reactiva dels agents en temps d'execució per a trobar una solució en la qual dos agents participen junts, evitant aixı́ que els agents hagen de recórrer a mecanismes deliberatius.

Per a avaluar el nostre sistema, dissenyem diferents situacions en tres dominis de planificació del món real.

Finalment, el document presenta algunes conclusions i tam

[EN] One of the challenges of robotics is to develop control systems capable of quickly obtaining intelligent, suitable responses for the regularly changing that take place in dynamic environments. This response should be offered at runtime with the aim of resume the plan execution whenever a failure occurs. The term reactive planning addresses all the mechanisms that, directly or indirectly, promote the resolution of failures during the plan execution. Reactive planning systems work under a continual planning and execution approach, i.e., interleaving planning and execution in dynamic environments.

Most of the current research puts the focus on developing reactive planning system that works on single-agent scenarios to recover quickly plan failures, but, if this is not possible, we may require more complex multi-agent architectures where several agents may participate to solve the failures. Therefore, continual planning and execution systems have usually conceived solutions for individual agents. The complexity of establishing agent communications in dynamic and time-restricted environments has discouraged researchers from implementing multi-agent collaborative reactive solutions.

In line with this research, this Ph.D. dissertation attempts to overcome this gap and presents a multi-agent reactive planning and execution model that keeps track of the execution of an agent to recover from incoming failures.

Firstly, we propose an architecture that comprises a general reactive planning and execution model that endows a single-agent with monitoring and execution capabilities. The model also comprises a reactive planner module that provides the agent with fast responsiveness to recover from plan failures. Thus, the mission of an execution agent is to monitor, execute and repair a plan, if a failure occurs during the plan execution.

The reactive planner builds on a time-bounded search process that seeks a recovery plan in a solution space that encodes potential fixes for a failure. The agent generates the search space at runtime with an iterative time-bounded construction that guarantees that a solution space will always be available for attending an immediate plan failure. Thus, the only operation that needs to be done when a failure occurs is to search over the solution space until a recovery path is found. We evaluated theperformance and reactiveness of our single-agent reactive planner by conducting two experiments. We have evaluated the reactiveness of the single-agent reactive planner when building solution spaces within a given time limit as well as the performance and quality of the found solutions when compared with two deliberative planning methods.

Following the investigations for the single-agent scenario, our proposal is to extend the single model to a multi-agent context for collaborative repair where at least two agents participate in the final solution. The aim is to come up with a multi-agent reactive planning and execution model that ensures the continuous and uninterruptedly flow of the execution agents. The multi-agent reactive model provides a collaborative mechanism for repairing a task when an agent is not able to repair the failure by itself. It exploits the reactive planning capabilities of the agents at runtime to come up with a solution in which two agents participate together, thus preventing agents from having to resort to a deliberative solution. Throughout the thesis document, we motivate the application of the proposed model to the control of autonomous space vehicles in a Planetary Mars scenario.

To evaluate our system, we designed different problem situations from three real-world planning domains.

Finally, the document presents some conclusions and also outlines future research directions.