Le triage intelligent des emails : état de l'art et retour terrain

Dans un cabinet de courtage, la boîte mail est le vrai centre nerveux. Tout y arrive : demandes de devis, pièces de dossier, relances clients, échanges avec les compagnies, sinistres. Et tout s'y mélange. Le tri de ce flux est une charge invisible, permanente, et terriblement coûteuse en temps. C'est le problème qu'adresse le Classifier. Je veux confronter ce que dit l'état de l'art à ce que nous observons sur le terrain.

Sur le papier, classer des emails est un problème résolu depuis longtemps. La littérature regorge de méthodes, des plus simples aux modèles de langage les plus récents, qui atteignent d'excellents scores sur des jeux de données de référence. On pourrait croire qu'il suffit de brancher l'un d'eux. C'est exactement là que le terrain rappelle à l'ordre.

Le premier écart tient à la nature des emails réels. Un message de courtage n'est pas un texte propre. C'est une chaîne de réponses imbriquées, une pièce jointe sans corps, un transfert de transfert, un objet vide, parfois trois sujets différents dans le même fil. Les modèles entraînés sur des textes bien formés trébuchent sur cette réalité désordonnée. La difficulté n'est pas de classer un email type ; c'est de bien se comporter sur tous les cas que personne n'a anticipés.

Le deuxième écart est la définition même des catégories. Sur un benchmark, les classes sont données. Dans un cabinet, elles sont l'enjeu. Un email peut être à la fois une relance et une pièce de sinistre. La frontière entre « demande de devis » et « simple question » est floue, et elle dépend du cabinet. Une bonne classification ne consiste pas à appliquer une taxonomie universelle ; elle consiste à épouser la manière dont une équipe organise réellement son travail.

Le troisième écart, le plus important, concerne le coût de l'erreur. Sur un benchmark, toutes les erreurs comptent pareil. Sur le terrain, non. Classer à tort un email anodin comme urgent fait perdre quelques secondes. Manquer un email réellement urgent peut faire rater un délai. C'est pourquoi nous ne mesurons pas une « précision » globale, qui ne veut rien dire ici, mais ce que le système trouve et ce qu'il manque, catégorie par catégorie, en pondérant selon l'enjeu. Un bon Classifier n'est pas celui qui se trompe le moins en moyenne ; c'est celui qui ne se trompe presque jamais là où ça coûte cher.

Ce que le terrain nous a appris, finalement, c'est l'humilité sur les scores et l'exigence sur les conséquences. Un modèle annoncé à 95 % de réussite peut être inutilisable si ses 5 % d'erreurs tombent sur les cas critiques. Et un modèle plus modeste en moyenne peut être excellent s'il protège ce qui compte. La performance utile n'est pas celle qu'on lit dans un article ; c'est celle qui se vérifie un lundi matin, sur une boîte qui déborde.

C'est pour cela que je me méfie des démonstrations parfaites. Le triage d'emails est un de ces problèmes qui semblent simples vus de loin et se révèlent profonds vus de près. La valeur ne vient pas du modèle ; elle vient de tout ce qu'on apprend en le confrontant au réel.