Важно также использовать безопасные форматы хранения ML-моделей. В репозитории Hugging…
- User
Важно также использовать безопасные форматы хранения ML-моделей. В репозитории Hugging Face выводятся предупреждения при загрузке моделей, которые могут исполнять код, а основным форматом хранения моделей является Safetensors, в котором исполнение кода заблокировано. Дай мне два примера моделей для разработчиков чтобы показать: эту модель использовать безопасно а эту использовать может быть потенциально опасно.
- Assistant
При работе с моделями машинного обучения важно учитывать формат их хранения, поскольку некоторые из них могут содержать исполнимый код, что потенциально опасно. Hugging Face использует формат Safetensors, который блокирует исполнение кода, обеспечивая безопасность.
Пример безопасной модели:
- Название модели:
bert-base-uncased - Описание: Базовая версия модели BERT без учета регистра, широко используемая для различных задач обработки естественного языка.
- Формат хранения: Safetensors
Пример модели с потенциально опасным форматом:
- Название модели:
gpt-neo-2.7B - Описание: Модель GPT-Neo с 2.7 миллиардами параметров, предназначенная для генерации текста.
- Формат хранения: PyTorch (
.bin)
Обратите внимание, что при загрузке модели с форматом
.binHugging Face может выводить предупреждения о потенциальной опасности из-за возможности исполнения кода. Рекомендуется использовать модели в формате Safetensors для повышения безопасности.Однако стоит учитывать, что даже модели в формате Safetensors могут быть уязвимы, если они были подвергнуты атаке или отравлению. Например, исследователи из компании JFrog выявили в репозитории Hugging Face вредоносные модели, установка которых может привести к выполнению кода атакующего для получения контроля над системой пользователя[1].
Таким образом, помимо выбора безопасного формата хранения, важно также учитывать источник модели и проводить дополнительные проверки на наличие уязвимостей.
- Название модели:
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.