Lors de cette nouvelle séance, Virginie Julliard et Lucille Sassatelli présenteront le papier suivant : « MObyGaze: a film dataset of multimodal objectification densely annotated by experts ».

Résumé : 

Nous présenterons notre travail sur le dataset MObyGaze. Caractériser et quantifier les disparités de représentation des genres dans les contenus narratifs audiovisuels est essentiel pour comprendre comment les stéréotypes se perpétuent à l'écran. Dans cet article, nous abordons le concept d'objectification et proposons une nouvelle tâche d'intelligence artificielle à la communauté du machine learning : caractériser et quantifier les motifs temporels multimodaux complexes (visuels, vocaux et audio) qui produisent l'objectification dans les films. Dans une approche multi-disciplinaire, nous définissons le concept d'objectification dans un thésaurus structuré comprenant 5 sous-concepts se manifestant à travers 11 concepts répartis sur 3 modalités. Nous présentons le jeu de données MObyGaze (Multimodal Objectifying Gaze), composé de 20 films annotés de manière exhaustive par des experts sur les niveaux et concepts d'objectification, au sein de segments librement délimités : il représente 6 072 segments sur 43 heures de vidéo, avec une localisation et une catégorisation précises. Nous formulons de nouvelles tâches d'interprétation vidéo, démontrons la faisabilité de la détection multimodale de l'objectification et analysons les biais des données et du modèle afin de proposer des améliorations. Nous présentons deux applications de MObyGaze, illustrant comment une annotation conceptuelle riche peut améliorer la fiabilité et l'interprétabilité des modèles. Notre code et notre jeu de données sont mis à la disposition de la communauté.

Bio : 

Lucile Sassatelli est Professeure des Universités en informatique à Université Côte d'Azur (UniCA). Elle est membre honoraire de l'Institut Universitaire de France. Depuis 2022, elle est directrice scientifique de EFELIA Côte d'Azur, un projet PIA multi-partenaire financé par l'Etat et mené par UniCA pour massifier la formation à l'Intelligence Artificielle (IA) dans tous les domaines. Ses activités de recherche se centrent sur la conception de modèles de machine learning pour la vision et le multimédia pour contribuer à des problématiques d'inégalités sociales. Elle coordonne le projet ANR TRACTIVE, impliquant 3 laboratoires en informatique et 3 laboratoires en sciences sociales dont le GRIPIC, pour étudier les disparités de représentation du genre dans les films avec des approches de vision par ordinateur et multimodales.