La majorité des modèles d’apprentissage automatique fournissent des prédictions ponctuelles sans indications d’incertitude ou de confiance fiables. Cela est particulièrement problématique pour des applications critiques de l’IA, comme dans les domaines de la santé ou du transport.

La quantification d’incertitude prédictive de modèles ML consiste à évaluer aussi finement que possible l'erreur de prédiction de ces modèles, voire à la calibrer en fonction d'objectifs statistiques précis. Parmi les différentes approches existantes, la prédiction conforme combine de bonnes propriétés théoriques et une facilité de mise en œuvre. Initiée par Vovk [1] dans les années 2000, sa simplicité en a fait un outil d'intérêt croissant dans les milieux académiques [2,3] et industriels [4,5]. Bien que la majorité des travaux font l’hypothèse classique de données indépendantes et identiquement distribuées (ou, plus généralement, échangeables), de récents articles comme [6,7] ont étudié ces méthodes en présence de distribution shifts, ce qui est fondamental pour les applications.

Au sein de l’équipe DEEL, le/la stagiaire sera chargé.e de comprendre l’approche récente [7] s’appuyant sur la théorie de l’apprentissage séquentiel robuste [8], et d’évaluer sa pertinence sur un problème ferroviaire.

Les étapes du stage comprendront :

- Un état de l’art des méthodes séquentielles pour la quantification d’incertitude robuste.

- Une modélisation d’un ou plusieurs problèmes SNCF (ex : détection d’un rail cassé), en termes de quantification d’incertitude.

- La conception d’algorithmes d’apprentissage séquentiel inspirés de [7], et leur évaluation sur les applications ferroviaires identifiées.

- La documentation de toutes les étapes du développement, y compris le code, les méthodes et les résultats.

Ce stage de recherche pourrait donner suite à une thèse.

[1] V. Vovk, A. Gammerman, and G. Shafer. Algorithmic Learning in a Random World. Springer-Verlag, 2005.

[2] A. Angelopoulos, S. Bates. Conformal Prediction: A Gentle Introduction. Foundations and Trends® in Machine Learning, 16, 494-591, 2023.

[3] S. Bates, A. Angelopoulos, L. Lei, J. Malik, M. Jordan. Distribution-Free, Risk-Controlling Prediction Sets. Journal of the ACM, 68, 2021.

[4] F. de Grancey, J.-L. Adam, L. Alecu, S. Gerchinovitz, F. Mamalet, D. Vigouroux. Object Detection with Probabilistic Guarantees: A Conformal Prediction Approach. WAISE@SAFECOMP, 316-329, 2022

[5] L. Andéol, T. Fel, F. de Grancey, L. Mossina. Confident Object Detection via Conformal Prediction and Conformal Risk Control: an Application to Railway Signaling. COPA, 36-55, 2023.

[6] R.F. Barber, E.J. Candès, A. Ramdas, R.J. Tibshirani. Conformal prediction beyond exchangeability. The Annals of Statistics, 51, 816-845 , 2023.

[7] I. Gibbs, E.J. Candès. Conformal inference for online prediction with arbitrary distribution shifts. Journal of Machine Learning Research, 25, 1-36, 2024.

[8] N. Cesa-Bianchi, G. Lugosi. Prediction, Learning, and Games. Cambridge University Press, 2006.