Le développement de méthodologies permettant de caractériser la performance des modélisations constitue l’une des activités centrales de FAIRMODE, le forum européen sur la modélisation de la qualité de l’air. Cette activité s’est portée récemment sur l’évaluation des cartes analysées, obtenues en combinant des données de modélisation et de mesure par une approche statistique ou géostatistique. L’évaluation de ces cartes s’effectue le plus souvent par validation croisée selon l’algorithme « leave-one-out ». Cette technique, aisée à mettre en œuvre, constitue un moyen pratique d’évaluer la précision relative de différentes cartographies, en particulier dans un cadre opérationnel. Les scores obtenus en chaque station sont toutefois sensibles à la répartition spatiale des sites de mesure. C’est pourquoi des évaluations plus approfondies - par tirages aléatoires - sont parfois réalisées de manière à caractériser plus finement la qualité de l’estimation sur l’ensemble du domaine d’étude.
FAIRMODE a ainsi proposé de tester une méthode d’évaluation fondée sur la réalisation de tirages aléatoires multiples afin de se faire une meilleure idée de ce type de technique et de sa possible valeur ajoutée par rapport à la validation croisée usuelle. Les résultats des tests effectués par le LCSQA sont consignés dans la présente note.
Les principales conclusions de ce travail et les questions associées s’accordent dans l’ensemble avec celles des autres participants à cet exercice. La méthodologie testée et la validation croisée présentent des résultats cohérents. Dans tous les cas étudiés, ceux-ci respectent l’objectif de qualité de l’outil d’évaluation Delta tool. A la différence de la validation croisée, la réalisation de nombreux tirages fournit des distributions de valeurs qui, dans la procédure de test proposée par FAIRMODE, ne sont que partiellement exploitées (seul le cas associé à la plus grande erreur quadratique est retenu). Si l’usage de cette méthode devait être généralisé, il conviendrait d’approfondir les tests et l’exploitation qui en est faite et de s’accorder sur le choix de certains paramètres.
Dans l’attente de nouvelles discussions, la validation croisée, qui est cohérente avec la méthode testée et a l’avantage d’une plus grande rapidité de mise en œuvre, reste une méthode pertinente. Toutefois, en fonction de l’objectif du travail et pour les raisons mentionnées en conclusion, le LCSQA met en avant l’intérêt d’une évaluation par tirages aléatoires.