Les tests par recherche d'exemples sont-ils assez fiables pour le Deep Learning?

Synthèse de nouveaux cas de tests pour les expériences DNN basés sur la recherche d’exemples

COMPLÉTÉ

Ce projet vise à fournir des informations pertinentes sur la fiabilité des modèles d’apprentissage profond, ainsi que des stratégies d’amélioration utiles pour construire des systèmes fiables. Les nouvelles approches de test basées sur la recherche d’exemples sont appliquées à la conception et à la modélisation des performances des avions.

Dans le cadre de l’évaluation des performances d’un avion, les modèles axés sur les données permettent de dériver des modèles statistiques basés sur des mesures expérimentales, une approche qui nécessite moins de connaissances détaillées du système que la modélisation basée sur la physique. Cependant, ce modèle de développement à moindre coût soulève également de nouveaux défis en matière de fiabilité. Bien que les approches de test basées sur la recherche d’exemple pour les modèles statistiques aient démontré leur efficacité dans la génération d’entrées de test synthétiques, elles reposent sur des perturbations invariantes dans une région bornée pour explorer le voisinage de chaque point de données existant. Dans le contexte de la modélisation en régression sur des données de senseurs, ces règles d’invariance sont très limitées, ce qui rend difficile la génération d’entrées synthétiques à grande échelle et affecte l’évaluation de la fiabilité du modèle. Pour cette raison, notre projet de recherche utilise certains principes fondamentaux de la physique et les propriétés de conception concernant le système afin d’élargir l’espace de recherche des entrées synthétiques. Les données synthétiques que nous produisons mettront à l’épreuve le modèle statistique par rapport à des cas de test artisanaux fondés sur la physique afin de révéler les incohérences du modèle comportemental avec les connaissances a priori du domaine.

Équipe

Jeux de données utilisés pour les expériences: 

Les données d’essais en vol réel comprennent des données de capteurs contenant des caractéristiques liées aux conditions de vol, aux configurations des ailes et aux conditions du système pneumatique haute pression à l’emplanture de l’aile. La simulation de la conception de l’avion comprend à la fois les variables de conception (liées à la forme géométrique, à la poussée du moteur, etc.) et les critères de performance (par exemple, la longueur du champ équilibré, le temps de montée, la masse maximale au décollage, etc.)

Équipe du projet