La Programmation Dynamique Stochastique (PDS) est une puissante méthode applicable aux problèmes mutli-étapes non-convexes et stochastiques. Nous étudions l'impact de la formulation des sous-problèmes et du choix de la méthode d'optimisation utilisée pour leurs résolutions sur la performance générale de la PDS dans le contexte de la gestion de réservoirs hydroélectrique. Nous rapportons les résultats numériques sur un système opérationnel et comparons plusieurs logiciels de pointe en optimisation. Dans un premier ensemble de tests, les sous-problèmes d'optimisation comportent des contraintes de production hydroélectrique non linéaires, tandis qu'un second ensemble utilise une approximation linéaire de ces contraintes. Nos résultats montrent que, lorsque les contraintes hydroélectriques linéaires sont acceptées au cours de l'évaluation de la politique, la Programmation Linéaire Séquentielle (PLS) nécessite le plus petit nombre d'évaluations de fonctions tout en étant la plus robuste en termes de nombre de sous-problèmes résolus avec succès. D'autre part, IPOPT offre la meilleure performance au cours de la phase de simulation en présence de contraintes hydroélectriques non linéaires, où la PLS est moins fiable. Une combinaison de la PLS pour l'évaluation de la politique en utilisant des contraintes hydroélectriques linéaires avec IPOPT dans la phase de simulation en utilisant des contraintes hydroélectriques non linéaires entraîne une amélioration du coût cumulatif annuel moyen et réduit le temps d'exécution total d'un facteur d'environ 3.3 par rapport à IPOPT seul en utilisant les contraintes hydroélectriques non linéaires au cours des deux phases.