Sistemas Multiagente y Simulación

Pretendemos analizar aquí la intersección entre dos campos de investigación: (1) Los Sistemas Multi-Agente (MAS) y (2) la simulación por ordenador (M&S).
Por un lado, los MAS se refieren a un dominio de investigación en informática que se ocupa de sistemas que están compuestos a nivel micro por entidades (agentes) que tienen un comportamiento autónomo y proactivo e interactúan con el medio ambiente, resultando en su funcionamiento en un comportamiento del sistema global que se observa a nivel macro. Actualmente se utilizan en numerosos dominios de aplicación e investigación, y pueden ser una forma muy interesante y conveniente para la comprensión, modelado, diseño e implementación de diferentes tipos de sistemas distribuidos. Por ejemplo, pueden ser utilizados como un paradigma de programación para desarrollar sistemas de software distribuidos que se ejecutan en contextos en los que un control global es difícil o imposible de lograr. Y también representan una alternativa muy interesante de modelado, en comparación con el modelado basado en ecuaciones, para la representación y simulación de sistemas del mundo real o virtual que pueden ser descompuestos en unidades menores que interactúan.


Por otro lado, la simulación por ordenador es una forma de diseñar, probar y estudiar tanto teorías como sistemas reales para diversos fines. Por ejemplo, de acuerdo a Shannon, la simulación se define como: "El proceso de diseñar un modelo de un sistema real junto con la realización de experimentos con este modelo con el fin de mejorar la comprensión del comportamiento del sistema y/o de la evaluación de diferentes estrategias para el funcionamiento del sistema".
Por lo tanto, las oportunidades de utilizar ambos, MAS y simulación, son numerosas, precisamente porque se pueden aplicar conjuntamente en una amplia gama de dominios de aplicación, y para fines muy diferentes. De hecho, el número de trabajos de investigación y aplicaciones de software que pertenecen a la intersección entre el MAS y de simulación es enorme. Esta intersección la analizaremos según dos perspectivas principales:

1. Modelado y Simulación (M&S) para el MAS: se refiere a los proyectos en los que la simulación por ordenador se utiliza como un medio para el diseño, la experimentación, el estudio y/o la ejecución de arquitectura de MAS, sean cuales sean los objetivos.
2. MAS para M&S: se relaciona con experimentos de simulación que utilizan MAS como paradigma de modelado para construir laboratorios artificiales. Hoy en día, el uso de laboratorios artificiales representa una forma de poner a prueba teorías y modelos para muchos campos de aplicación.

MAS y M&S: Construyendo Laboratorios artificiales

El interés de la utilización de MAS en el ámbito de aplicación de M&S aparece principalmente cuando se trata de la simulación de sistemas complejos (es decir, sistemas que están compuestos de muchas entidades que interactúan). La modelización de sistemas complejos ha sido siempre una motivación para los investigadores científicos. Un ejemplo histórico es el modelo determinista continuo que fue propuesto por Volterra para representar la dinámica de poblaciones de dos especies animales (presas y depredadores).

Relacionando matemáticamente la dinámica poblacional de dos especies por medio de un sistema de ecuaciones diferenciales, el propósito de este modelo era explorar el mecanismo de interacción entre el depredador y la presa (en el estudio original de Volterra eran realmente tiburones y sardinas). Este modelo se consideró apropiado debido a que la solución que ofrece muestra un resultado intuitivamente adecuado, en el que ambas poblaciones oscilan: cuando la densidad de la presa es alta, el depredador se multiplica hasta que no hay suficientes presas, lo que conduce a la disminución del depredador gracias a la competencia letal que se produce entre ellos y la consecuente regeneración de las presas.
Sin embargo, a pesar de la aparente conveniencia de este modelo, algunas investigaciones experimentales dieron resultados que no presentan un comportamiento oscilatorio de las poblaciones de depredadores/presas. En consecuencia, se realizaron muchas variantes del modelo original con el fin de conciliar la discrepancia entre los resultados experimentales observados y los que ofrecía el modelo: añadir dinámicas más complejas (por ejemplo, variación de la voracidad del depredador en el tiempo), nuevas restricciones (por ejemplo, un número máximo de animales en el medio ambiente), y/o nuevos parámetros (por ejemplo, tiempo de gestación de presa y depredador) al sistema.
También hubo intentos de formular una versión estocástica del sistema, pero no fue hasta los años sesenta cuando, gracias a la llegada de las simulaciones por ordenador, se pudo experimentar con estas versiones del modelo, ponienedo de relieve que un inconveniente importante de los modelos deterministas se basa precisamente en el hecho de que no son capaces de tener en cuenta la naturaleza no determinista aparente de los sistemas complejos reales, donde las situaciones de interacción parecen implicar siempre aleatoriedad debido a la complejidad de los procesos del mundo real.
Sin embargo, la contrapartida de las versiones estocásticas de las ecuaciones originales es que exhiben comportamientos más complejos y con una gran variabilidad, incluso cuando se utiliza con los mismos parámetros. Esto plantea la cuestión de la pertinencia de los parámetros con respecto al sistema que se modela: ¿están realmente capturando algo la realidad? Estos modelos, finalmente parecen estar más relacionados con un ejercicio matemático que con la modelación que ayuda a comprender el sistema real. Por lo tanto, aunque tiene un comportamiento interesante con respecto a la dinámica de la población real, es criticado por la falta de conocimientos que da sobre la dinámica de los verdaderos componentes del sistema: Las presas y los depredadores.
En consecuencia, los problemas que persisten con estos enfoques ecuacionales (ya sean deterministas o estocásticos) teniendo en cuenta la modelización de sistemas complejos que involucran a entidades individuales son:

• Sólo es posible una perspectiva global
• Los parámetros de la ecuación apenas tienen en cuenta la complejidad de las interacciones a nivel micro
• El modelado de las acciones individuales no es posible
• La integración de los aspectos cualitativos es difícil

Las plataformas MAS, basándose en el modelado y la simulación de las entidades autónomas proactivas, aparecieron prácticamente en el mismo momento en que el paradigma de agentes se definió, a principios de los años ochenta; sin embargo, la noción misma de agente, como unidad fundamental de modelado, se puede encontrar en modelos y experimentos que tuvieron lugar mucho antes, por lo menos desde los años cincuenta. De hecho, los primeros intentos que trataron de resolver los problemas anteriormente citados mediante la integración de varios niveles de análisis en el modelado, fueron propuestos por un enfoque de microsimulación.

La Microsimulación: precursor de modelado basado en el individuo

En el ámbito de las ciencias sociales, la noción de agente siempre ha sido esencial. Una de las primeras aproximaciones que se han propuesto como alternativa a los modelos matemáticos proviene de las ciencias sociales y se llama microsimulación.
Orcutt señaló en un atículo que los modelos macroeconómicos que se habían propuesto hasta el momento no podían proporcionar información relevante acerca de la influencia de las políticas gubernamentales sobre la evolución de las entidades de nivel micro (hogares y empresas). El objetivo de Orcutt era hacer hincapié en la necesidad de integrar las entidades de nivel micro en el desarrollo de modelos de simulación, haciendo sus resultados más relevantes y útiles para el estudio de la dinámica de los sistemas sociales. Para ello, el principio básico de microsimulación es integrar concretamente el nivel micro por medio de reglas, ya sean deterministas o estocásticas, que se aplican en los atributos de las unidades individuales, lo que lleva a la modelización de los cambios en su estado y comportamiento.
Usado principalmente para modelos de población, tráfico, y corporaciones, la microsimulación es un método de modelado que todavía se utiliza mucho hoy en día (http://www.microsimulation.org). A pesar de que la microsimulación tiene sus raíces en el ámbito de las ciencias sociales, se puede considerar como el punto de partida original del modelado basado en agentes (a veces llamado Modelado Basado en el Individuo, como por ejemplo en el modelado de sistemas ecológicos).

Modelado Basado en Agentes (ABM)

Teniendo en cuenta la integración de nivel micro dentro de la modelización, el enfoque ABM va un poco más allá que el de la microsimulación. El ABM sugiere que el modelo no sólo integra a las personas y sus comportamientos, sino que también se centra en el modelado de las acciones e interacciones que tienen lugar entre las entidades a través del medio ambiente.
Con respecto a los Modelos Basados en Ecuaciones, usar el paradigma basado en agentes para modelar un sistema ofrece una perspectiva completamente diferente que representa una alternativa atractiva con respecto a los problemas planteados anteriormente: contrariamente al basado en ecuaciones, en el que la dinámica global del sistema se define a priori utilizando las relaciones matemáticas entre las propiedades del sistema global (por ejemplo, el número total de presas), la aproximación ABM se basa en el modelado explícito de las entidades de nivel micro y la dinámica (por ejemplo, las características individuales y comportamientos, acciones e interacciones entre los organismos y el medio ambiente, etc.). De esta forma, el comportamiento global del sistema se obtiene como resultado de estas dinámicas a nivel micro.
En términos más generales, las dos diferencias principales entre el modelado ecuacional y el ABM se basan en (1) la forma en que modelan las relaciones entre las entidades del modelo y (2) el nivel en el que centran su atención. El modelado ecuacional modela relaciones entre los observables del sistema (es decir, las características medibles de interés), mientras que el ABM representa individuos que evolucionan mediante la interacción con el resto de individuos y con el medio ambiente.
El interés del modelado basado en agentes se basa en cuatro conceptos principales:

1. La actividad autónoma del agente, es decir, su capacidad para llevar a cabo una acción por inciativa propia (pro-actividad) mediante el control de su comportamiento con el fin de aumentar su satisfacción y con la decisión de ayudar o impedir que otros cumplan sus objetivos. Como puede observarse, la definición anterior del agente insiste en la autonomía de decisión, que resulta de la independencia con la que un agente trata de satisfacer sus objetivos (en el sentido amplio del término) mediante el uso de sus competencias y sus propios recursos o pidiendo ayuda a los demás.
2. La sociabilidad de los agentes, es decir, su capacidad de actuar con otros agentes desde un punto de vista social. Un agente en un MAS no es un ente aislado, sino un elemento de una sociedad. Ésta, la sociedad, emerge de las interacciones que tienen lugar entre los agentes y, recíprocamente, la organización de la sociedad limita el comportamiento de los agentes, al atribuirle los roles que restringen sus posibilidades de acción.
3. La interacción es lo que conecta los dos conceptos anteriores. Este entrelazado de las acciones, donde cada acción se decide en la mente de un agente, produce patrones organizados de actividades (formas sociales emergentes) que, a cambio, fuerza y restringe la conducta de los agentes. Por lo tanto, es a través de estas interacciones como surgen las formas de interacción: cooperación, conflicto, competencia... que, a su vez, producen patrones de organización más o menos estables que estructuran la acción individual de cada agente.
4. La contextualización de los agentes, es decir, el hecho de que los agentes están en un entorno que define las condiciones en las que éstos existen, actúan e interactúan. El medio ambiente es el pegamento que conecta los agentes entre si, permitiendo la interacción entre ellos de manera que sean capaces de alcanzar sus objetivos.

Toda la potencia del MAS proviene de este proceso cíclico: los agentes actúan de forma autónoma en un espacio limitado por la estructura de la sociedad en la que actúan, la propia estructura emerge de los comportamientos de estos agentes. Hay un lazo de dependencia entre los agentes y las sociedades, entre el nivel micro y el nivel macro, entre el individuo y el colectivo; esta dependencia entre niveles es el núcleo fundamental de los problemas que caracterizan los sistemas complejos. Por tanto, no es casualidad que la MAS sea una importante herramienta para modelar sistemas complejos, ya que proponen mucho más que una simple técnica de modelado. No son herramientas abstractas simples, sino que es posible caracterizar numéricamente la evolución de un sistema a partir de sus parámetros. MAS permite generar "micro-mundos artificiales", donde es posible controlar todas las características y reproducir series de experimentos como si fuera un laboratorio. En comparación con las sociedades humanas y animales, y para los sistemas complejos en general, los MAS pueden ser vistos como "microcosmos", como modelos a pequeña escala de los sistemas reales, que tienen la misma dinámica y siguen los mismos principios que los sistemas sociales reales que modelan.
Por otra parte, una de las principales cualidades del modelado multi-agente se encuentra en su capacidad de integración y en su flexibilidad. Es posible agrupar las variables cuantitativas, las ecuaciones diferenciales y comportamientos basados en sistemas de reglas simbólicas, en el mismo modelo. También es muy fácil incorporar modificaciones en el comportamiento de los individuos mediante la adición de reglas de comportamiento que actúan en el plano individual, así como añadir nuevos agentes con su propio modelo de comportamiento que interactúan con los agentes ya definidos. Por ejemplo, en un modelo de gestión forestal, es posible introducir nuevos animales, nuevas especies de plantas, nuevos agricultores, y analizar sus interacciones con los agentes ya modelados.
Debido a procesos emergentes que se producen con las interacciones, los MAS permiten representar situaciones complejas donde las estructuras globales resultan de las interacciones entre los individuos, es decir extraer estructuras del nivel macro a partir de las conductas definidas en el nivel micro, rompiendo así la barrera entre los dos niveles.

Simulando comportamientos inspirados en humanos

Inspirada por los trabajos precursores que se han realizado en el ámbito de microsimulación, la ciencia social fue una de las primeras líneas de investigación en las que se aplicó el enfoque ABM. En particular, el trabajo seminal de Schelling sobre la segregación residencial ha sido fundamental en este sentido. El modelo de Schelling fue uno de los primeros en mostrar claramente cómo las propiedades globales (segregación entre los agentes en este caso) pueden surgir de las interacciones locales. Gracias a este tipo de trabajos la simulación social basada en agentes pasó a ser ampliamente utilizada a partir de mediados de los años noventa.
Para describir el enfoque que subyace a estos modelos, Epstein y Axtell acuñaron la noción de ciencia social generativa en el libro "Growing artificial societies", que permite poner de relieve las diferencias entre ABM y las ciencias sociales, tanto inductivas como deductivas. Ejemplos concretos de este tipo de eenfoque son la modelización de los fenómenos urbanos, trabajos realizados en la teoría de juegos sobre el dilema del prisionero iterado, y el modelado de la dinámica de opinión.

Simulación de animales artificiales

Los Boids de Reynolds
Una obra precursora del uso del paradigma de agentes para fines de M&S fue realizada por Reynolds para simular el comportamiento de manadas. En el ámbito de la animación gráfica, el objetivo de Reynolds era lograr una animación creíble de una bandada de pájaros artificiales, es decir, a los que llamó boids. Reynolds se dió cuenta de que no era posible utilizar un movimiento de manada por medio de un guión predeterminado para lograr una animación realista del movimiento en grupo y para paliarlo se inspiró en dos corriente de investigación: (1) los sistemas de partículas y (2) el paradigma Actor.
Los sistemas de partículas ya se habían utlizado con anterioridad para la animación de ciertos fenómenos complejos, como nubes o fuego, que se modelaron como colecciones de partículas individuales que tienen su propio comportamiento y estado. Sin embargo, las partículas no interactúan y su comportamiento sólo se basa en su estado interno (posición, velocidad, tiempo de vida, etc) y, potencialmente, sobre algunos parámetros globales que podría representar fenómenos tales como la gravedad.
La idea de Reynolds fue que el comportamiento de los boids debía estar influenciado por los demás para agruparse de manera coherente. Por ello, Reynolds utilizó la abstracción "actor" para definir el comportamiento de los boids tal y como interactúan en su manada: cambian su dirección según la de otros para situarse en el centro de la manada que perciben.
Los resultados obtenidos fueron tan convincentes que el impacto de los boids del Reynolds en la comunidad de agentes reactivos aún pueden ser percibidos hoy en día, y fue una de los primeros trabajos bio-inspirados. Más allá de la animación gráfica, algunos comportamientos inspirados en los boids se encuentran actualmente en campos como la robótica móvil (por ejemplo, las bandadas de vehículos aéreos no tripulados), y la simulación de multitudes humanas (un ejemplo famoso de aplicación es el uso del software TM MASSIVE de Weta Digital para los efectos esepciales visuales de películas como El Señor de los anillos, en los que hay grandes escenas de batalla).
Aunque el paradigma de los boids es muy adecuado para el modelado de movimientos colectivos, está limitado por el hecho de que sólo se basa en la percepción directa de los otros boids, y el medio ambiente no juega ningún papel en la interacción entre los agentes. Veremos a continuación que, por el contrario, el entorno desempeña un papel esencial para el modelado de otros tipos de animales, como las colonias de hormigas.
Colonias de Hormigas
Respecto a trabajos relacionados con sistemas multi-agente bio-inspirados, las colonias de hormigas probablemente representan los sistemas naturales que más han servido de inspiración. En primer lugar, las colonias de hormigas exhiben muchas características que se esperan de los MAS como son la auto-organización, auto-adaptación, robustez, propiedades emergentes, etc. En segundo lugar, la capacidad de las hormigas para resolver problemas complejos de una manera eficiente es fascinante, sobre todo teniendo en cuenta sus características individuales limitadas. El ejemplo más conocido y mejor modelado por el momento es el uso que hacen de la feromona para encontrar caminos mínimos entre los nidos y las fuentes de comida.
Por ello, en cuanto las colonias de hormigas fueron reconocidas como un modelo fascinante de MAS, muchas simulaciones MAS hechas en la década de los noventa se basaron en la simulación y estudio de las características de los sistemas basados de hormigas. Entre los precursores que trabajaron con hormigas, uno de los más ambiciosos se ha hizo en el proyecto MANTA (Modelado de la actividad se un hormiguero). En primer lugar, MANTA se basó en un sistema de simulación y modelado innovador llamado EMF (EthoModeling Framework) que era lo suficientemente simple como para ser utilizado por científicos sin conocimientos avanzados en informática. En segundo lugar, el propósito de MANTA era no sólo simular algunas características de hormigas, sino traducir todos los parámetros de un estudio biológico real en una granja de hormigas virtual. En consecuencia, las simulaciones MANTA estaban compuestas por todas las criaturas que se pueden encontrar dentro de un nido de hormigas (hormigas, larvas, capullos, huevos) y también se tuvo en cuenta el tiempo y algunos factores ambientales como la luz y la humedad.
Vale la pena señalar que, simultáneamente, Dorigo también tomó la inspiración de hormigas para definir un nuevo tipo de algoritmos de optimización, la Heurística de Sistemas de Hormigas. En concreto, se deriva de este enfoque un algoritmo distribuido llamado Sistema de Colonias de Hormigas (ACS) que se aplicó a el problema del viajante. Hoy en día, Ant Colony Optimization (ACO) representa toda una corriente de investigación en el ámbito de la inteligencia de enjambre.
El punto común entre todas estas investigaciones es que todas ellos identifican que una de las características principales de las hormigas es su capacidad de utilizar feromonas (marcadores químicos evaporables) para comunicarse y coordinarse indirectamente a través del medio ambiente. Las feromonas permiten a las hormigas realizar tareas complejas gracias a un mecanismo ambiental sencillo pero fundamental: las feromonas se evaporan, por lo que el sistema puede olvidar la información obsoleta; por ejemplo, los caminos que conducen a las fuentes de alimentos ya consumidas desaparecen progresivamente en el tiempo. Este poderoso mecanismo ha sido traducido con éxito en programas de ordenador y simulaciones, definiendo de este modo el concepto de feromonas digitales que se ha utilizado en numerosos trabajos.