Retour

G-2022-39

Model-based graph reinforcement learning for inductive traffic signal control

, et

référence BibTeX

La plupart des méthodes d'apprentissage par renforcement pour le contrôle adaptatif de la signalisation routière nécessitent une formation partant de zéro pour être appliquées à toute nouvelle intersection ou après toute modification du réseau routier, de la distribution du trafic ou des contraintes comportementales expérimentées pendant l’entrainement. Compte tenu 1) de la quantité massive d'expérience requise pour entrainer de telles méthodes, et 2) du fait que cette expérience doit être recueillie en interagissant de manière exploratoire avec des utilisateurs réels du réseau routier, un tel manque de transférabilité limite l'expérimentation et l'applicabilité. Des approches récentes permettent d'apprendre des politiques qui généralisent à des topologies de réseaux routiers et des distributions de trafic inconnues, relevant partiellement ce défi. Cependant, la littérature reste divisée entre l'apprentissage de politiques cycliques (l'évolution de la connectivité à une intersection doit respecter un cycle) et acycliques (moins contraintes), et ces méthodes transférables 1) ne sont compatibles qu'avec des contraintes cycliques et 2) ne permettent pas la coordination. Nous introduisons une nouvelle méthode, MuJAM, basée sur un modèle qui, en plus de permettre pour la première fois une coordination explicite à l'échelle, pousse la généralisation plus loin en permettant une généralisation aux contraintes des contrôleurs. Nous montrons que MuJAM, en utilisant des contraintes cycliques et acycliques, surpasse les "baselines" spécifiques au domaine ainsi qu'une autre approche transférable, dans un contexte de transfert "zero-shot" impliquant à la fois des réseaux routiers et des paramètres de trafic jamais expérimentés pendant l’entrainement, ainsi que dans une expérience de transfert plus large impliquant le contrôle de 3 971 contrôleurs de feux de circulation à Manhattan.

, 21 pages

Axes de recherche

Application de recherche

Document

G2239.pdf (1,5 Mo)