Todos los proveedores de reconocimiento facial dicen tener una alta precisión. Algunos citan las evaluaciones independientes del Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST), lo más parecido a un árbitro neutral que tiene el sector. Pero los resultados del NIST son fáciles de citar a conveniencia, y un comprador que no sabe cómo están estructuradas las evaluaciones no puede distinguir una afirmación con peso de una técnicamente cierta pero irrelevante.
Esta guía explica qué mide realmente el NIST, cómo leer los resultados de reconocimiento facial y qué significa todo esto para saber si sus empleados podrán checar sin problemas en una mañana fría.
Qué son las evaluaciones del NIST
El NIST realiza evaluaciones continuas de algoritmos de reconocimiento facial que los desarrolladores envían de forma voluntaria, y los prueba con grandes conjuntos de datos sellados en condiciones controladas. Los desarrolladores no pueden ajustarse a los datos de prueba, los resultados se publican y el mismo protocolo se aplica a todos. Esa combinación de evaluación independiente, estandarizada y publicada es lo que da valor al programa.
Es importante saber que el NIST evalúa algoritmos, no productos. La app de asistencia de un proveedor no se evalúa. El motor de reconocimiento que lleva dentro, tal vez sí. En esa diferencia está la mayoría de las afirmaciones engañosas.
Las dos tareas y por qué importa la diferencia
Verificación 1:1
Dado un rostro y una identidad declarada, ¿es la misma persona? Es la tarea que realizan la mayoría de los sistemas de asistencia cuando un empleado se identifica, con una tarjeta, un PIN o eligiendo su nombre, y el sistema lo confirma.
Identificación 1:N
Dado un rostro, encontrarlo en una base de datos de N personas. Es lo que ocurre cuando un empleado simplemente llega y el sistema reconoce quién es sin que se lo digan. Es más difícil, y se vuelve más difícil a medida que crece N. Una galería de 50 empleados es un problema muy distinto a una de 50,000.
Cuando un proveedor cite una posición en el NIST, pregunte de qué tarea se trata y con qué tamaño de galería. Un algoritmo que destaca en verificación 1:1 puede quedar a media tabla en identificación 1:N a gran escala. Para la asistencia, la mayoría de las instalaciones necesita un buen desempeño 1:N con una galería del tamaño de su plantilla, porque llegar y checar sin más es justamente el atractivo.
Cómo leer las tasas de error
- FNMR / FRR. Falsa no coincidencia o falso rechazo. Un empleado legítimo no es reconocido. Es el error que vive su personal y el que genera hojas de registro manual.
- FMR / FAR. Falsa coincidencia o falsa aceptación. Alguien es reconocido como otra persona. Es el error que le importa a su auditor.
Ambos se compensan entre sí según un umbral que se puede mover. Cualquier cifra de precisión citada sin su contraparte está incompleta. “99.9% de precisión” no dice nada si no sabe con qué tasa de falsas coincidencias, con qué conjunto de datos y con qué tamaño de galería.
La forma estándar de comparar es la tasa de falsas no coincidencias a una tasa fija de falsas coincidencias, por ejemplo la FNMR con una FMR de uno en un millón. Esa formulación permite comparar algoritmos en igualdad de condiciones, y es el tipo de afirmación que vale la pena tomar en serio.
Diferencias demográficas
El NIST ha publicado un trabajo amplio sobre cómo varían las tasas de error entre grupos demográficos, y los hallazgos tienen consecuencias. Las diferencias existen, varían muchísimo de un algoritmo a otro, y los algoritmos con mejores resultados muestran brechas mucho menores que los más débiles.
Para un empleador no es una cuestión abstracta de equidad. Si su sistema falla más con unos empleados que con otros, esas personas hacen más fila, quedan marcadas más seguido y sienten que el sistema es injusto, porque lo es. Pregunte de forma concreta si el algoritmo se evaluó en diferencias demográficas y qué resultados obtuvo. Debe formar parte de su evaluación de impacto.
Cinco formas de maquillar los resultados del NIST
- Citar una posición sin la categoría. Las evaluaciones tienen muchas subpruebas y conjuntos de datos. “Primero en el ranking” no significa nada sin saber en cuál.
- Citar un envío antiguo. Los resultados se actualizan continuamente. Una posición de hace varios años puede no reflejar el algoritmo actual ni a los competidores actuales.
- Citar al desarrollador del SDK y no al producto. Un proveedor que usa un motor de terceros puede citar los resultados de ese motor mientras entrega una versión anterior o una configuración distinta.
- Usar cifras 1:1 para un producto 1:N. Técnicamente exacto, en la práctica engañoso.
- Ignorar el umbral de operación. Las instalaciones reales funcionan con un umbral configurado que puede estar muy lejos del que produce la cifra citada.
Lo que el NIST no le dice
La precisión en laboratorio es una condición necesaria, no suficiente. No dice cómo se comporta el sistema con la cámara de una tableta barata en un pasillo oscuro, con cascos y lentes de seguridad, con un trabajador con las manos mojadas o cuando llegan cien personas a la vez. Tampoco evalúa la protección contra la suplantación, que es otra disciplina con su propia norma, explicada en nuestra guía sobre ISO 30107-3 (en inglés).
Use los resultados del NIST como un filtro y no como la decisión. Unos buenos resultados independientes indican que el motor es creíble. Su prueba piloto determina si el producto funciona en sus condiciones.
Cómo usar esto en una compra
- Pregunte quién desarrolló el algoritmo de reconocimiento y si se evaluó de forma independiente.
- Pida la prueba, el conjunto de datos y la fecha concretos de la evaluación, no una frase de marketing.
- Pida la FNMR con una FMR declarada y con un tamaño de galería como el suyo.
- Pregunte por el desempeño en diferencias demográficas.
- Después haga una prueba piloto con sus propios equipos, en su peor ubicación y en su momento de más actividad.
Nuestra lista de verificación para licitaciones (en inglés) reúne estas preguntas junto con las operativas, y por qué NCheck (en inglés) explica el origen de los motores detrás de nuestros productos.
Preguntas frecuentes
¿Es obligatorio participar en el NIST?
No, es voluntario. Un desarrollador que no participa no es necesariamente malo, pero entonces usted no tiene pruebas independientes y debe dar más peso a su propia prueba piloto.
¿Qué precisión es suficiente para la asistencia?
Los algoritmos actuales de primer nivel superan con mucho lo que la asistencia necesita en la práctica, con los tamaños de galería habituales en una empresa. Su riesgo de fallas está en el entorno, como la luz, el ángulo o el rostro cubierto, no en el algoritmo.
¿Hay evaluaciones equivalentes para huella digital e iris?
Sí, el NIST también evalúa otras modalidades. Pida la evaluación correspondiente si la huella o el iris son centrales en su instalación.
¿Un mejor algoritmo reduce el riesgo de suplantación?
No. La precisión del reconocimiento y la detección de ataques de presentación son capacidades distintas. Evalúe ambas.
Por qué difieren la precisión en laboratorio y en campo
Un algoritmo con un desempeño excelente en la evaluación puede seguir fallando a diario en su edificio, porque la evaluación controla variables que su sitio no controla.
Calidad de la captura. Las evaluaciones usan imágenes de calidad razonable. Una tableta de cinco años con la lente rayada en un pasillo oscuro es otra cosa. Aquí el límite no es el algoritmo, son la cámara y la luz.
Postura y distancia. Las personas que pasan de lado, miran su celular o se acercan demasiado reducen la calidad del reconocimiento. La altura y la posición del equipo importan más de lo que se suele prever. Un equipo a la altura del pecho de un trabajador alto queda a la altura de los ojos de uno más bajo.
Rostro cubierto. Los cascos, los lentes de seguridad, los cubrebocas y las capuchas de alta visibilidad cambian lo que ve la cámara. Si su personal los usa, exija que la prueba piloto los incluya.
Calidad del enrolamiento. Una mala imagen de enrolamiento limita para siempre el reconocimiento de esa persona, sin importar la calidad del algoritmo. Enrole en condiciones parecidas a las del lugar donde se va a checar, y vuelva a enrolar a quien falle de forma repetida.
Tamaño de la galería y umbral. Un sistema configurado para un sitio de 200 personas se comporta distinto con 20,000. Si espera crecer mucho, pregunte cómo cambian el umbral y el desempeño.
Una prueba piloto que da una cifra real
Para obtener una cifra de precisión en campo que pueda defender internamente, haga una prueba piloto estructurada de dos semanas. Enrole un departamento completo, incluidas las personas que suelen tener dificultades. Use exactamente los equipos y las posiciones de montaje que piensa instalar. Anote cada reconocimiento fallido con la hora, el lugar y la persona, y cuente aparte los registros manuales.
Al final, exprese el resultado como reconocimientos fallidos por cada mil registros, desglosado por ubicación. Esa cifra, medida en sus condiciones y no en las de un laboratorio, es la que debe guiar la decisión. Compárela con la misma medición del producto alternativo y la elección suele quedar clara. Nuestra lista de verificación para licitaciones (en inglés) explica cómo estructurar la evaluación completa.
NCheck es un sistema de control de asistencia biométrico de Neurotechnology que funciona en servidor propio o en la nube, admite reconocimiento facial, de huella digital y de iris, y funciona en celulares, tabletas, cámaras IP y terminales biométricas. Gratis para siempre para equipos de hasta 5 empleados.
