Thèse : Apprentissage multimodal économe en données grâce à l’exploitation de la sémantique des scènes pour le suivi des activités au bloc opératoire

Soutenance de thèse : Idris HAMOUD

Date & heure : mercredi 25 juin à 15:00

Lieu : salle Panacee, Institut Hospitalo-Universitaire (IHU) de Strasbourg - 1 place de l’Hôpital (Nouvel Hôpital Civil), 67000 Strasbourg

Résumé:

L’analyse holistique des vidéos du bloc opératoire est essentielle pour développer des modèles d’intelligence artificielle capables de reconnaître automatiquement et précisément les différentes phases du workflow chirurgical. Cette reconnaissance permettrait d’améliorer la communication interprofessionnelle, la sécurité et l’efficacité, tout en réduisant le temps opératoire.

Les méthodes actuelles reposent majoritairement sur un apprentissage supervisé exigeant de nombreuses données annotées et se transfèrent difficilement dans des blocs opératoires dotés d’autres configurations de caméras. Cette thèse propose de nouvelles approches auto-supervisées pour analyser le workflow opératoire, en mettant l’accent sur des modalités « abstraites » ou sémantiques telles que la détection d’objets et l’estimation de pose des cliniciens. En tirant parti des récents progrès de l’apprentissage auto-supervisé en vision par ordinateur — auto-encodeurs masqués, apprentissage contrastif multimodal et tâches prétextuelles dédiées — ces méthodes visent à réduire le coût d’annotation et à faciliter leur déploiement dans des contextes cliniques réels.

Membres du jury :

• Directeur de thèse: Prof. Nicolas PADOY, ICube, Université de Strasbourg
• Co-directeur de thèse: Prof. Didier MUTTER, HUS, Université de Strasbourg
• Rapporteur: Prof. Marie-Odile BERGER, INRIA Nancy Grand Est
• Rapporteur: Prof. Shlomi LAUFER, Technion, Haifa
• Examinateur: Dr. Omid MOHARERI, Intuitive Surgical Inc., Sunnyvale
• Examinateur: Dr. Vinkle SRIVASTAV, ICube, Université de Strasbourg