• Informações do Trabalho

Titulo Avaliação de Safety e Cybersecurity de Classificadores de Machine Learning na Indústria Utilizando SafeML Subtítulo Autor VITÓRIA ISABELA DE OLIVEIRA Orientador ANDRE LUIZ DE OLIVEIRA Resumo A crescente adoção de classificadores de Machine Learning (ML) em sistemas de segurança crítica demanda transferir a avaliação de confiabilidade (dependability) e segurança cibernética do tempo de projeto — técnicas como Fault Tree Analysis (FTA) — para o monitoramento em tempo de execução (runtime). Ataques adversariais — ameaças que comprometem a confidencialidade, a integridade ou a disponibilidade do sistema — representam risco significativo: a violação de uma propriedade de segurança cibernética pode provocar uma falha de safety (definida como freedom from unacceptable risk), com consequências catastróficas a pessoas, ao ambiente ou à propriedade. O objetivo deste trabalho foi avaliar a efetividade de classificadores de ML na detecção de ataques adversariais na indústria, utilizando o método SafeML — abordagem de Explainable AI baseada em medidas de dissimilaridade estatística (SDD) sobre Funções de Distribuição Empírica Acumulada (ECDF), que monitora a confiança em tempo de execução de forma model-agnostic. Como resultado, desenvolveu-se um software de monitoramento sob Clean Architecture e princípios SOLID. Avaliaram-se quatro classificadores — LeNet5-BN (MNIST, 99,14%), SmallResNet (CIFAR-10, 89,54%), ResNet-18 (GTSRB, 99,07%) e Random Forest (CICIDS2017, 89,77%) — sob os ataques FGSM, PGD, C&W, DeepFool e Ruído Gaussiano, medindo o desvio padrão das previsões por cinco distâncias estatísticas: Kolmogorov-Smirnov, Wasserstein, Anderson-Darling, Kuiper e Cramér-von Mises. As medidas SDD demonstraram correlações positivas com a queda de acurácia: para o LeNet5-BN (MNIST) e o SmallResNet (CIFAR-10), todas exceto a Anderson-Darling atingiram AUC-ROC = 1,000 (detecção perfeita); para o Random Forest (CICIDS2017), as correlações foram significativas (KS r = 0,973***; Kuiper r = 0,974***). Para a ResNet-18 (GTSRB) sobre pixels brutos, o desempenho foi inferior (AUC-ROC de até 0,833), elevando-se ao adotar features CNN de 512 dimensões. O SafeML mostrou-se uma alternativa model-agnostic viável e eficaz para o monitoramento de segurança de ML industrial. Palavras-chave: SafeML; Machine Learning; Safety; Cybersecurity; Ataques Adversariais; ECDF; Monitoramento em Tempo de Execução. Palavras-Chave SafeML; Safety; Cybersecurity; Machine Learning; Classificadores; Medidas de distância estatística; Kolmogorov-Smirnov; Wasserstein Distance; ECDF; Human-in-the-loop; Monitoramento em tempo real; Indústria de desenvolvimento de software; Detecção de ano