Stage - Développement logiciel - Données scientifiques : Simplifier leur intégration et optimiser leur accès

Magellium Artal Group, avec ses 300 collaborateurs, est un acteur indépendant spécialisé dans la chaîne de valorisation du pixel et de la donnée image et vidéo, du capteur satellite, aéroporté ou drone jusqu’à son exploitation dans les systèmes d’information géographique, la cartographie et la géointelligence.

L’équipe Cloud Data Intelligence conçoit et développe des applications scientifiques et des plateformes de données cloud-native. Elle mobilise notamment Python, les API et les environnements conteneurisés pour faciliter l’acquisition, le traitement et l’exploitation de données complexes.

LE SUJET DU STAGE

Les données ouvertes issues des programmes d’observation de la Terre, des réseaux de capteurs et des simulations scientifiques ouvrent de nouvelles possibilités pour comprendre notre environnement. Elles permettent de croiser des observations, de comparer des modèles et de construire de nouveaux indicateurs.

Leur exploitation reste cependant un défi technique : sources dispersées, formats hétérogènes, volumes importants et modalités d’accès variées. Comment intégrer facilement une nouvelle source et permettre aux scientifiques comme aux applications d’accéder efficacement aux données utiles à leurs analyses ?

L’objectif du stage est de concevoir et de développer une chaîne modulaire reliant ces sources de données aux outils d’analyse scientifique. Vous travaillerez sur deux axes complémentaires : simplifier l’intégration de nouvelles sources et exposer leurs données sous une forme compréhensible, adaptée aux usages et performante.

Vous vous appuierez sur les approches ARCO (Analysis Ready, Cloud Optimized), qui visent des données prêtes à l’analyse et un accès distant efficace, et sur les principes FAIR : des données faciles à trouver, accessibles, interopérables et réutilisables. La documentation des traitements et la traçabilité des résultats inscriront vos travaux dans une démarche de science ouverte et de reproductibilité.

Un exemple concret : intégrer de nouvelles données météorologiques, vérifier leur qualité, harmoniser leurs unités, puis permettre à un utilisateur de récupérer uniquement les variables et la période nécessaires à son analyse, sans télécharger toute l’archive.

VOS MISSIONS :

Comprendre les sources et les usages

• Analyser des sources publiques représentatives et les besoins des utilisateurs : variables, dimensions, fréquence de mise à jour, volumes et modes d’accès.

• Étudier les solutions existantes pour l’acquisition, l’orchestration et la mise à disposition des données afin de sélectionner les composants adaptés.

Faciliter l’intégration de nouvelles sources

• Concevoir un mécanisme de connecteurs permettant d’ajouter une source sans modifier l’ensemble de la chaîne.

• Développer des traitements configurables pour récupérer les données, contrôler leur qualité et harmoniser leur structure et leurs métadonnées.

• Automatiser les mises à jour et prévoir le suivi des exécutions, la gestion des erreurs et les reprises après échec.

Proposer un accès pertinent et performant

• Décrire les jeux de données disponibles, leurs variables, unités, dimensions et provenance pour faciliter leur découverte et leur compréhension.

• Expérimenter des formats et organisations de stockage adaptés aux usages, par exemple Zarr pour des données multidimensionnelles ou Parquet pour des données tabulaires.

• Développer des interfaces permettant de sélectionner et d’extraire les données utiles selon une période, des variables ou une zone d’intérêt.

• Évaluer les temps d’accès et les volumes transférés sur des scénarios représentatifs, puis améliorer les performances.

Valider un démonstrateur réutilisable

• Mettre en œuvre une chaîne de bout en bout sur des jeux de données ouverts, puis vérifier sa capacité à intégrer une seconde source.

• Conserver les paramètres et l’historique des traitements pour expliquer et reproduire les résultats.

• Documenter l’ajout d’un connecteur, l’accès aux données et les choix techniques. Selon l’avancement, explorer une configuration graphique ou une assistance IA.

Vous serez intégré(e) à une équipe de développement et accompagné(e) par des ingénieurs expérimentés. Le démonstrateur s’appuiera sur les outils et projets de l’équipe, avec des composants réutilisables pour d’autres sources et usages scientifiques.

Étudiant(e) en dernière année d’école d’ingénieurs ou en cursus universitaire de niveau Bac+5, avec une spécialisation en informatique, génie logiciel, ingénierie des données ou calcul scientifique.

Vous disposez de bonnes bases en Python et souhaitez développer des outils qui rendent les données scientifiques plus faciles à exploiter. Vous vous intéressez à la conception de logiciels modulaires, aux API et aux problématiques de performance.

Des premières connaissances dans certains des domaines suivants seront appréciées :

• Développement : Git, tests automatisés et conception d’API.

• Données : pandas ou Xarray, manipulation de fichiers et métadonnées.

• Environnement : Linux, Docker et notions de stockage objet.

• Ouverture scientifique : intérêt pour les données ouvertes, les standards et la reproductibilité.

La connaissance préalable des formats ARCO ou des outils d’orchestration n’est pas indispensable. Curieux(se) et rigoureux(se), vous aimez expérimenter, mesurer les résultats et transformer un besoin en solution concrète. Vous appréciez le travail en équipe et le partage des connaissances.

Ce stage vous permettra de développer des compétences en ingénierie des données scientifiques, en architecture logicielle et en optimisation des accès, à partir de ressources ouvertes et de besoins concrets.

Chez Magellium Artal Group, la diversité et l'inclusion sont fondamentales pour notre fonctionnement et ancrées dans nos valeurs. Nous respectons la diversité de nos employés, leurs expériences, leurs origines, leurs handicaps, et offrons des chances égales à tous. Tous différents, tous compétents !