Stagiaire - Modèle Langage-Vision-Action sur robot NAO H/F

À propos de IRT Saint Exupéry

L’Institut de Recherche Technologique (IRT) Saint Exupéry est un accélérateur de science, de recherche technologique et de transfert vers les industries de l’aéronautique et du spatial pour le développement de solutions innovantes sûres, robustes, certifiables et durables.

Nous proposons sur nos sites de Toulouse, Bordeaux, Sophia Antipolis et Montréal un environnement collaboratif intégré composé d’ingénieurs, chercheurs, experts et doctorants issus des milieux industriels et académiques pour des projets de recherche et des prestations de R&T adossés à des plateformes technologiques autour de 4 axes : les technologies de fabrication avancées, les technologies plus vertes, les méthodes & outils pour le développement des systèmes complexes et les technologies intelligentes.

Nos technologies développées répondent aux besoins de l'industrie, en intégrant les résultats de la recherche académique.

 3 raisons de nous rejoindre

• Prendre part à des projets de recherche innovants, au service de la recherche technologique française et au profit de l'industrie implantée sur le territoire national et européen.

• Vivre sa passion pour la technologie, se donner la liberté d’innover et développant son esprit pionnier et d’équipe !

• Evoluer dans un environnement collaboratif intégré et multiculturel, en travaillant aux côtés des collaborateurs issus de la recherche académique ou de l’industrie: chercheurs, doctorants, ingénieurs, techniciens, etc.

Visitez en 360° nos plateformes technologiques sur Toulouse : https://storage.net-fs.com/hosting/6834310/4/

Ce stage vous plonge au cœur de la robotique avancée, en explorant les modèles de Vision-Langage-Action (VLA). Ces modèles révolutionnaires permettent aux robots, comme le NAO, de comprendre et d'exécuter des actions dans une multitude de contextes, qu'ils soient familiers ou inédits.

Votre rôle : transformer la théorie en pratique

• Recherche approfondie sur les modèles VLA : plongez dans l'univers des modèles VLA, comme RT-2, pour comprendre les dernières avancées.

• Sélection et évaluation de modèles : choisissez un modèle VLA prometteur et testez-le sur une base de données open source pour évaluer son efficacité.

• Application pratique sur le robot NAO : transposez votre modèle sélectionné sur le robot NAO, un défi fascinant mêlant théorie et pratique.

• Implémentation et tests en conditions réelles : mettez en œuvre le modèle sur le NAO et évaluez son efficacité dans divers scénarios de test, poussant les limites de ce que les robots peuvent accomplir.

Impact et objectifs :

Votre travail contribuera à rendre les robots plus autonomes et adaptatifs, capables de gérer des tâches complexes dans des environnements changeants. Ce stage est une opportunité exceptionnelle de participer à des recherches de pointe qui façonneront l'avenir de l'interaction homme-robot.

Références :

Decision transformers: https://arxiv.org/abs/2106.01345

Robotic transformer 1: https://arxiv.org/abs/2212.06817

Robotic transformfer 2: https://arxiv.org/abs/2307.15818

Robotic transformer X: https://arxiv.org/abs/2310.08864

Dans le cadre de votre stage de fin d’études de niveau Bac+5 (Ingénieur, Master) en cursus Mathématiques appliquées ou Informatique scientifique, vous disposez de bonnes connaissances en Python et en Deep Learning. Des connaissances en Apprentissage par Renforcement sont un réel plus.