Chaque fournisseur de reconnaissance faciale annonce une grande précision. Certains citent les évaluations indépendantes du National Institute of Standards and Technology (NIST) américain, ce qui se rapproche le plus d’un arbitre neutre dans le secteur. Mais les scores NIST de reconnaissance faciale se citent facilement de façon sélective, et un acheteur qui ne sait pas comment les évaluations sont construites ne peut pas distinguer une affirmation utile d’une affirmation techniquement vraie mais hors sujet.

Ce guide explique ce que le NIST mesure réellement, comment lire un classement et ce que tout cela signifie pour savoir si vos employés pourront pointer de façon fiable un matin d’hiver.

Ce que sont les évaluations du NIST

Le NIST mène en continu des évaluations d’algorithmes de reconnaissance faciale soumis volontairement par leurs développeurs. Il les teste sur de grands jeux de données scellés, dans des conditions contrôlées. Les développeurs ne peuvent pas s’adapter aux données de test, les résultats sont publiés et le même protocole s’applique à tous. C’est cette combinaison, indépendante, standardisée et publiée, qui fait la valeur du programme.

Point important, le NIST teste des algorithmes, pas des produits. L’application de pointage d’un fournisseur n’est pas évaluée. Le moteur de reconnaissance qu’elle contient peut l’être. C’est dans cette nuance que se cachent la plupart des affirmations trompeuses.

Les deux tâches, et pourquoi la différence compte

Vérification 1:1

À partir d’un visage et d’une identité déclarée, s’agit-il de la même personne ? C’est la tâche que la plupart des systèmes de pointage effectuent quand un employé s’identifie, avec une carte, un code PIN ou en choisissant son nom, et que le système confirme.

Identification 1:N

À partir d’un visage, il faut le retrouver dans une base de N personnes. C’est ce qui se passe quand un employé se présente simplement et que le système trouve qui il est sans qu’on le lui dise. C’est plus difficile, et cela se complique quand N augmente. Une base de 50 employés pose un tout autre problème qu’une base de 50 000.

Quand un fournisseur cite un classement NIST, demandez de quelle tâche il s’agit et pour quelle taille de base. Un algorithme excellent en vérification 1:1 peut se situer en milieu de tableau en identification 1:N à grande échelle. Pour le pointage, la plupart des déploiements ont besoin de bonnes performances en 1:N pour une base de la taille de leur effectif, car pointer sans rien sortir de sa poche est tout l’intérêt.

Lire les taux d’erreur

  • FNMR / FRR. Faux non-appariement, ou faux rejet. Un employé légitime n’est pas reconnu. C’est l’erreur que vit votre personnel, celle qui fait apparaître des feuilles de correction papier.
  • FMR / FAR. Faux appariement, ou fausse acceptation. Une personne est reconnue comme quelqu’un d’autre. C’est l’erreur qui intéresse votre auditeur.

Les deux s’équilibrent selon un seuil que l’on peut déplacer. Un chiffre de précision cité sans son pendant est incomplet. « Précis à 99,9 % » ne dit rien si l’on ne sait pas à quel taux de faux appariement, sur quel jeu de données et pour quelle taille de base.

La façon standard de comparer est le taux de faux non-appariement à un taux fixe de faux appariement, par exemple le FNMR pour un FMR d’un sur un million. Cette formulation permet de comparer les algorithmes à égalité, et c’est la forme d’affirmation qui mérite d’être prise au sérieux.

Les écarts démographiques

Le NIST a publié des travaux approfondis sur la façon dont les taux d’erreur varient selon les groupes démographiques, et les résultats sont importants. Les écarts existent, ils varient énormément d’un algorithme à l’autre, et les algorithmes plus performants présentent des écarts nettement plus faibles que les autres.

Pour un employeur, ce n’est pas une question d’équité abstraite. Si votre système échoue plus souvent pour certains employés, ces personnes attendent plus longtemps, sont signalées plus souvent et vivent le système comme injuste, parce qu’il l’est. Demandez précisément si l’algorithme a été évalué sur les écarts démographiques et avec quels résultats. Cela a sa place dans votre analyse d’impact.

Cinq façons de détourner un résultat NIST

  1. Citer un rang sans la catégorie. Les évaluations comptent de nombreuses sous-catégories et jeux de données. « Classé en tête » ne veut rien dire sans préciser lequel.
  2. Citer une ancienne soumission. Les résultats sont mis à jour en continu. Un classement d’il y a plusieurs années peut ne refléter ni l’algorithme actuel ni l’état actuel du marché.
  3. Citer le développeur du SDK, pas le produit. Un fournisseur qui utilise le moteur d’un tiers peut citer les résultats de ce moteur tout en livrant une version plus ancienne ou une autre configuration.
  4. Utiliser des chiffres 1:1 pour un produit 1:N. Techniquement exact, trompeur en pratique.
  5. Ignorer le seuil de fonctionnement. Les déploiements réels tournent avec un seuil configuré qui peut être très éloigné de celui qui a produit le chiffre annoncé.

Ce que le NIST ne vous dit pas

La précision en laboratoire est une condition nécessaire, pas suffisante. Elle ne dit pas comment le système se comporte avec la caméra d’une tablette bon marché dans un couloir sombre, avec des casques et des lunettes de sécurité, avec un ouvrier aux mains mouillées, ou quand cent personnes arrivent en même temps. Elle n’évalue pas non plus la lutte contre la fraude, qui est une discipline à part avec sa propre norme, traitée dans notre guide sur l’ISO 30107-3 (en anglais).

Utilisez les résultats NIST comme un filtre, pas comme une décision. De bons résultats indépendants montrent que le moteur est crédible. Votre pilote montre si le produit fonctionne dans vos conditions.

Comment s’en servir lors d’un achat

  • Demandez qui a développé l’algorithme de reconnaissance et s’il a été évalué de façon indépendante.
  • Demandez la catégorie d’évaluation, le jeu de données et la date précis, pas un argument marketing.
  • Demandez le FNMR pour un FMR donné, avec une base de taille comparable à la vôtre.
  • Demandez les performances sur les écarts démographiques.
  • Puis menez un pilote sur vos propres appareils, à l’endroit le plus difficile, au moment le plus chargé.

Notre liste de contrôle pour appel d’offres (en anglais) reprend ces points avec les questions opérationnelles, et la page pourquoi NCheck (en anglais) explique l’origine des moteurs utilisés dans nos produits.

Questions fréquentes

La participation aux évaluations NIST est-elle obligatoire ?

Non, elle est volontaire. Un développeur qui n’y participe pas n’est pas forcément mauvais. Mais vous n’avez alors aucune preuve indépendante, et votre propre pilote doit peser d’autant plus.

Quelle précision suffit pour le pointage ?

Les algorithmes modernes de pointe dépassent largement les besoins pratiques du pointage pour les tailles de base habituelles en entreprise. Votre risque d’échec vient de l’environnement, comme l’éclairage, l’angle ou un visage couvert, pas de l’algorithme.

L’empreinte digitale et l’iris ont-ils des évaluations équivalentes ?

Oui, le NIST évalue aussi d’autres biométries. Demandez l’évaluation correspondante si l’empreinte digitale ou l’iris est au cœur de votre déploiement.

Un meilleur algorithme réduit-il le risque de fraude ?

Non. La précision de reconnaissance et la détection des attaques par présentation sont deux capacités distinctes. Évaluez les deux.

Pourquoi la précision en laboratoire et sur le terrain diffèrent

Un algorithme excellent en évaluation peut quand même échouer chaque jour dans vos locaux, parce que l’évaluation contrôle des variables que votre site ne contrôle pas.

La qualité de capture. Les évaluations utilisent des images de qualité raisonnable. Une tablette de cinq ans à l’objectif rayé dans un couloir sombre, c’est une tout autre entrée. Ce n’est pas l’algorithme qui limite ici, ce sont la caméra et l’éclairage.

La pose et la distance. Une personne qui passe de biais, regarde son téléphone ou se tient trop près dégrade la reconnaissance. La hauteur et la position de l’appareil comptent plus que ce que prévoient la plupart des déploiements. Un appareil à hauteur de poitrine pour un grand ouvrier est à hauteur des yeux pour un plus petit.

Ce qui masque le visage. Casques, lunettes de sécurité, masques et capuches haute visibilité changent ce que voit la caméra. Si votre personnel en porte, exigez que le pilote les inclue.

La qualité de l’enrôlement. Une mauvaise image d’enrôlement limite pour toujours la reconnaissance de cette personne, quelle que soit la qualité de l’algorithme. Enrôlez dans des conditions proches de celles du pointage, et réenrôlez toute personne qui échoue à répétition.

La taille de la base et le seuil. Un système configuré pour un site de 200 personnes se comporte autrement avec 20 000. Si vous prévoyez une forte croissance, demandez comment le seuil et les performances évoluent.

Un pilote qui produit un vrai chiffre

Pour obtenir un chiffre de précision terrain défendable en interne, menez un pilote structuré de deux semaines. Enrôlez un service entier, y compris les personnes qui posent habituellement problème. Utilisez exactement les appareils et les positions de fixation prévus. Notez chaque échec de reconnaissance avec l’heure, le lieu et la personne, et comptez à part les corrections manuelles.

À la fin, exprimez le résultat en échecs de reconnaissance pour mille pointages, détaillés par lieu. Ce seul chiffre, mesuré dans vos conditions et pas dans celles d’un laboratoire, doit guider la décision. Comparez-le à la même mesure pour le produit concurrent, et le choix s’impose généralement de lui-même. Notre liste de contrôle pour appel d’offres (en anglais) explique comment structurer l’évaluation dans son ensemble.

NCheck est un système de pointage biométrique de Neurotechnology qui fonctionne sur site ou dans le cloud, reconnaît le visage, l’empreinte digitale et l’iris, et fonctionne sur téléphones, tablettes, caméras IP et terminaux biométriques. Gratuit sans limite de durée jusqu’à 5 employés.