Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям:

• количество поддерживаемых к сканированию форматов хранения моделей;
• количество проверок под каждый формат моделей;
• результаты моих попыток обхода сканеров;
• наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными:
• сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей;
• сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

Читать далее

Read original