‍

Suite à notre précédent article sur les spécificités de la création d'un modèle d'apprentissage automatique pour la détection des fraudes, nous allons parler de la production, des métriques et de l'explicabilité de l'intelligence artificielle.

‍

Des modèles stables du développement à la production

En ce qui concerne l'apprentissage supervisé, la stabilité entre les résultats sur les ensembles de données de validation de la phase de développement et les résultats sur les données réelles de la phase de production repose sur une hypothèse forte : les données des deux phases présentent des distributions similaires dans leurs caractéristiques. Si les modèles de cas authentiques ou frauduleux sont très différents, le modèle ne sera pas aussi performant que pendant la phase de développement. Cela se produit lorsque les modèles changent, par exemple pendant une crise économique, ou lorsque les données ne proviennent pas des mêmes sources.

Toutefois, ce phénomène peut être maîtrisé grâce à une méthodologie d'entraînement rigoureuse qui permet d'estimer correctement les performances du modèle. Comme les schémas de fraude peuvent varier dans le temps, la séparation classique entre les ensembles de données d'entraînement et de validation peut être insuffisante. La validation des performances sur des modèles formés uniquement sur des enregistrements garantit la prise en compte de la composante temporelle des fraudes. Nos modèles sont également validés sur différentes périodes au fil du temps pour s'assurer que nos pipelines de formation produisent des modèles stables.  ‍

‍

Les bonnes métriques  

L'utilisation des bonnes métriques pendant les étapes de formation et d'évaluation est également essentielle pour construire un modèle efficace. Alors que certains cas d'utilisation reposant sur le ML sont déterminés par la précision des prédictions, la détection de la fraude implique des mesures de réussite différentes. En effet, les cas de fraude étant très rares, les mesures utilisées doivent être axées sur le taux de détection des fraudes (également appelé rappel) et sur la pertinence.

Cela nous amène à la question délicate du seuil. En effet, le modèle donne un score pour chaque enregistrement, mais nous devons décider du seuil à partir duquel il sera considéré comme une alerte. Généralement, un seuil est calculé à partir de l'ensemble de données de validation afin d'optimiser les métriques souhaitées. La plupart du temps, il sera basé sur la capacité de traitement des alertes de l'équipe d'analystes de fraude, mais si cette capacité est flexible, il peut également être calculé pour optimiser la pertinence ou atteindre un taux de détection minimum. ‍

‍

Une IA explicable

Notre score de détection des fraudes est destiné à être utilisé par des personnes, les performances techniques ne sont donc pas le seul critère. Si les alertes générées ne sont pas compréhensibles par l'homme, elles risquent d'être mal interprétées ou ignorées.  

L'explicabilité est un facteur clé de la performance des applications ML en production. Elle peut être obtenue à l'aide d'algorithmes d'interprétabilité, tels que SHAP, qui peuvent donner pour chaque enregistrement le poids et la direction de chaque caractéristique : en d'autres termes, dans quelle mesure chaque caractéristique " pousse " vers la fraude ou l'authenticité.  

Cependant, ce poids seul peut être difficile à interpréter pour les utilisateurs. Nous ajoutons une couche d'"interprétabilité humaine" par-dessus, pour convertir ces poids en une phrase, dans laquelle la signification et la valeur de la caractéristique sont décryptées.

‍

Une IA explicable

‍

Notre score de détection des fraudes est destiné à être utilisé par des personnes, les performances techniques ne sont donc pas le seul critère. Si les alertes générées ne sont pas compréhensibles par l'homme, elles risquent d'être mal interprétées ou ignorées.

‍

‍

L'explicabilité est un facteur clé de la performance des applications ML en production. Elle peut être obtenue à l'aide d'algorithmes d'interprétabilité, tels que SHAP, qui peuvent donner pour chaque enregistrement le poids et la direction de chaque caractéristique : en d'autres termes, dans quelle mesure chaque caractéristique " pousse " vers la fraude ou l'authenticité.

Cependant, ce poids seul peut être difficile à interpréter pour les utilisateurs. Nous ajoutons une couche d'"interprétabilité humaine" par-dessus, pour convertir ces poids en une phrase, dans laquelle la signification et la valeur de la caractéristique sont décryptées.

‍

‍

Naissance et mort d'un modèle

Maintenant que le modèle est en production et que ses scores sont utilisés par les analystes, le voyage s'arrête-t-il là ? Pas du tout ! Comme les données et les schémas de fraude changent, les performances des modèles peuvent dériver au fil du temps. En ce qui concerne le recyclage, un modèle peut appartenir, nous devons surveiller à la fois le score du modèle et la distribution de toutes ses caractéristiques. Ainsi, le recyclage ne peut être lancé que lorsqu'il y a un changement dans ces dernières.

Afficher la capture d'écran de surveillance Lorsque les données ou les modèles changent trop, un simple réentraînement ne suffira pas, et une étude complète devra à nouveau être effectuée pour trouver les bonnes caractéristiques et les bons paramètres. La détection de la fraude avec l'apprentissage automatique est un cycle de vie sans fin plutôt qu'un projet ponctuel !  

Avec la fraude en hausse, les acteurs du crédit savent qu'ils ne peuvent plus se reposer uniquement sur les méthodes du passé. Ils investissent de plus en plus dans l'IA et le ML, pour minimiser les risques et maximiser le retour sur investissement avec un minimum d'efforts.

La difficulté réside principalement dans la production, par exemple l'explicabilité pour les analystes, la cohérence des données et la formation du modèle historique, ainsi que la production, le suivi et le cycle de vie du modèle.

L'avenir de la prévention de la fraude réside dans les solutions expertes d'IA et de ML dotées d'une connaissance approfondie du secteur bancaire et des stratégies des fraudeurs. Ces solutions sont conçues pour compléter et améliorer l'expertise existante dans le secteur.

‍

‍

"En fonction des raisons invoquées, l'instruction du score peut rapidement passer de 30 minutes, en cas de contrôles supplémentaires, à 5 minutes. Le ROI est impressionnant, et nous en sommes ravis, d'autant plus que la fraude est désormais révélée beaucoup plus tôt dans notre processus et que les éventuels contrôles supplémentaires sont effectués beaucoup plus rapidement. "

Karim Tinouiline - Responsable Fraude, Carrefour Banque & Assurance

‍

‍

Saviez-vous que 87 % des projets d'apprentissage automatique ne sont jamais mis en production ?  

• Construire une intelligence artificielle à partir de rien est un gros risque ;
• C'est complexe et cela demande beaucoup de travail et de coûts opérationnels ;
• Vous devez investir dans des solutions qui se situent entre la propriété, la stratégie à long terme, le retour sur investissement immédiat et l'efficacité.  

‍

Découvrez les coûts réels de la création d'un modèle d'IA à partir de zéro.

‍