FAQ – Avaliação de Detecção de Ataques de Apresentação do NIST (PAD) – NIST IR 8491

O que é a avaliação de detecção de ataque de apresentação facial do NIST?

O NIST é o Instituto Nacional de Padrões e Tecnologia dos Estados Unidos e realiza regularmente avaliações de algoritmos de tecnologia facial e emite relatórios sobre suas descobertas ¹. Novidade para 2023, a Parte 10 da Avaliação de Tecnologia de Análise Facial (FATE) do NIST se concentrou na avaliação do desempenho de algoritmos passivos de detecção de ataque de apresentação facial (PAD) baseados em software. Os resultados da avaliação FATE PAD foi publicada no Relatório Interno NIST 8491 , lançado em setembro de 2023.

O que o relatório do NIST cobre?

Aqui estão alguns pontos-chave sobre o que o FATE PAD cobriu e o que não cobriu:

• Ele avaliou a capacidade dos algoritmos de detectar ataques de apresentação física, como fotos impressas, máscaras e máscaras 3D. Não considerou os ataques digitais, como imagens injetadas.
• Ele analisou apenas abordagens passivas que dependem exclusivamente da análise das imagens faciais de entrada, e não PAD ativo que desafia o usuário.
• Ele avaliou apenas algoritmos PAD baseados em software, e não abordagens baseadas em hardware.
• Ele testou o PAD em imagens estáticas e vídeos, mas foi um teste offline sem um componente de aquisição de dados ao vivo.
• Duas tarefas separadas do PAD foram avaliadas: detecção de ataques de personificação e ataques de evasão. Algoritmos especializados em um ou outro.
• Uma série de ataques de apresentação foram testados; alguns conhecidos e outros não divulgados aos participantes para evitar ajustes.
• O desempenho foi quantificado usando as métricas Taxa de erro de classificação de ataque de apresentação (APCER) e Taxa de erro de classificação bona fide (BPCER) .
• A análise analisou compensações de erros, desempenho em fotos versus vídeo, fusão de vários algoritmos e efeitos em grupos demográficos.

Em resumo, esta avaliação específica do NIST concentrou-se em uma fatia específica do cenário PAD: detecção passiva apenas de software de personificação física e ataques de evasão com base na análise de imagens faciais pré-existentes. Não abordou outras abordagens ou casos de uso do PAD. Os resultados quantificam a precisão do algoritmo nessas tarefas definidas.

Qual é a diferença entre ataques de personificação e ataques de evasão?

A diferença fundamental é o objetivo do fraudador. A personificação visa obter acesso ilegítimo, fazendo-se passar por outra pessoa. A evasão visa evitar a detecção da própria identidade, visto que esta identidade pode estar registada numa lista de vigilância ou num sistema de vigilância. A personificação é um risco de segurança de falsa aceitação. A evasão é um risco de falsa não correspondência.

Ataques de personificação são quando alguém tenta se passar por outra pessoa para obter acesso não autorizado às suas contas, dispositivos ou privilégios. Por exemplo, um ataque de falsificação de identidade pode envolver o uso de uma foto impressa, máscara ou reprodução de vídeo do rosto de alguém para enganar um sistema de reconhecimento facial e obter acesso a algum lugar ao qual não deveria ter acesso. O objetivo é personificar a identidade de outra pessoa.

Ataques de evasão são quando alguém tenta evitar ser reconhecido por um sistema de reconhecimento facial ou comparar seu próprio modelo registrado em um banco de dados ou lista de observação. Por exemplo, um ataque de evasão pode envolver o uso de acessórios, máscaras ou maquiagem obscurecedores para evitar que sua identidade real seja detectada. O objetivo é evitar o reconhecimento de sua verdadeira identidade.

Que tipos de ataques são avaliados?

O objetivo do FATE PAD era avaliar um conjunto diversificado de ataques de personificação e evasão, com uma combinação de instrumentos de ataque de apresentação (PA). Ataques físicos e digitais estavam no escopo. Nem todos os tipos de PA foram divulgados.

Os seguintes tipos de ataques de apresentação foram avaliados:

Ataques de personificação	Ataques de Evasão
PA Tipo 1 – Ataque não revelado PA Tipo 3 – Máscaras faciais de silicone flexíveis PA Tipo 4 – Ataque não revelado PA Tipo 7 – Ataque não revelado PA Tipo 8 – Ataques de impressão/reprodução de fotos	PA Tipo 1 – Ataque não revelado PA Tipo 2 – Ataque não revelado PA Tipo 3 – Máscaras faciais de silicone flexíveis PA Tipo 4 – Ataque não revelado PA Tipo 5 – Ataque não revelado PA Tipo 6 – Máscaras faciais de proteção PA Tipo 7 – Ataque não revelado PA Tipo 8 – Ataques de impressão/reprodução de fotos PA Tipo 9 – Ataque não revelado

Algumas observações importantes sobre os ataques testados:

• Foram testados ataques de personificação e evasão.
• Foram divulgados ataques conhecidos como máscaras de silicone, impressões de fotos e máscaras de proteção.
• Outros ataques não divulgados também foram incluídos para evitar a sintonia com PAIs conhecidos.
• Os mesmos PAIs foram testados para tarefas de personificação e evasão.
• Os ataques de impressão/repetição foram testados tanto sem zoom (mostrando bordas) quanto com zoom.

Quais fornecedores de PAD têm melhor desempenho?

O relatório apresenta um detalhamento do desempenho do algoritmo em várias categorias, incluindo ataques de representação e evasão, tipos de dados (imagens estáticas ou vídeos) e diferentes tipos de ataques de apresentação. Embora sejam fornecidas informações específicas, uma classificação geral pode ser deduzida a partir da classificação média nessas condições.

Por exemplo, para a detecção de ataques de personificação em imagens estáticas, os 10 principais algoritmos dos 82 participantes, representando o melhor de cada participante, são os seguintes:

Algoritmo (melhor por participante)	PA Tipo 1 Não divulgado		PA Tipo 3 Máscara de silicone flexível		PA Tipo 4 Não divulgado		PA Tipo 7 Não divulgado		PA Tipo 8 Foto impressa /tela		PA Tipo 8 Foto impressa / tela(zoom)		Média	Total Classificação
	Conv*	Seg**	Conv.	Seg.	Conv.	Seg.	Conv.	Seg.	Conv.	Seg.	Conv.	Seg.
idrnd-001	2	2	5	5	5	5	10	10	1	1	1	1	4.0	1
kakao-001	1	3	24	33	16	17	3	3	5	5	5	4	9.9	2
iproov-001	5	10	11	25	8	13	16	17	7	8	6	10	11.3	3
stcon-000	8	13	2	3	4	26	21	35	9	10	3	3	11.4	4
idemia-011	15	34	21	20	19	14	13	28	1	4	4	5	14.8	5
ciberlink-002	6	5	3	4	1	2	1	1	17	20	46	74	15.0	6
onfido-001	21	28	12	12	20	15	8	4	19	24	9	14	15.5	7
intema-001	23	19	22	21	18	10	34	24	10	14	21	28	20.3	8
ciente-002	18	9	13	13	22	4	31	16	27	33	34	31	20.9	9
alice-001	12	67	3	2	9	68	4	8	1	2	23	74	22.8	10

*Classificação de conveniência **Classificação de segurança

Os resultados mostrados pelo NIST não constituem um endosso para qualquer sistema, produto, serviço ou empresa específico do NIST. Mais informações podem ser encontradas na página do NIST FRVT .

 

__________________
¹ Desde 1999, o programa NIST é conhecido como Face Recognition Vendor Tests (FRVT). Em 2023, esse nome foi retirado e substituído por duas novas marcas: Avaliação de Tecnologia de Reconhecimento Facial (FRTE) e Avaliação de Tecnologia de Análise Facial (FATE).