L'apprentissage profond a redéfini les normes modernes et la performance dans les domaines de la vision informatique et du traitement du langage. Avec l’accroissement des données provenant des infrastructures de mesure de l’énergie dans les réseaux électriques, nous assistons à un foisonnement des occasions d’optimisation dans ces réseaux. Nous considérons donc ici le problème de commande optimale des systèmes de chauffage, climatisation et ventilation d’un bâtiment intelligent avec une infrastructure de calcul à basse puissance et ne nécessitant que peu de communications. Pour ce, nous introduisons une méthode de commande autonome, multi-système basée sur l’apprentissage par renforcement profond. Malgré l’application de plusieurs mesures assurant un niveau de service thermique minimal, nous démontrons des améliorations notoires en termes de coûts d’énergie, de puissance, de confort thermique et de nombre de cycles en utilisant une adaptation de l’approche de Q-apprentissage profond sur des cas d’espèce basés sur des simulations de modèles physiques calibrés sur des données météo historiques. Nous quantifions les résultats de l’optimisation et illustrons sa flexibilité et comment cette méthode peut facilement être étendue à des édifices de plus en plus grands en comparant sa performance avec les contrôleurs classiques réactifs.