Стратегические документы по ИИ
2024 Генеративные модели искусственного интеллекта. Возможности и риски для промышленности и органов власти/Generative AI Models Opportunities and Risks for Industry and Authorities, German Federal Office for Information Security
Generative AI Models Opportunities and Risks for Industry and Authorities
07.05.2024
German Federal Office for Information Security
Перейти к источнику
В документе рассматриваются особенности генеративных моделей: их преимущества и риски, а также инструкция по наиболее эффективному внедрению ГенИИ в различные отрасли.
Особое внимание при внедрении генеративного ИИ следует уделить следующим аспектам:- Повышение осведомленности пользователей: Пользователи должны быть полностью проинформированы о возможностях и рисках, связанных с LLMS. Они должны иметь базовое представление об аспектах безопасности LLMS и быть осведомлены о потенциальной утечке или повторном использовании данных, проблемах с качеством выходных данных, возможностях неправильного использования, связанных с дезинформацией и социальной инженерией, а также о векторах атак.
- Тестирование: LLM и приложения на их основе должны быть тщательно протестированы перед развертыванием. В динамичной технологической среде тесты всегда должны соответствовать текущему состоянию ИТ-безопасности.
- Работа с конфиденциальными данными: Следует исходить из того, что вся информация, доступная ИИ во время обучения или работы, может быть доступна пользователям. Таким образом, модели, отлаженные на основе конфиденциальных данных, должны рассматриваться как конфиденциальные и не должны передаваться третьим лицам без тщательного рассмотрения. Инструкции системного или прикладного уровня для LLM и встроенные документы должны быть сформулированы и интегрированы таким образом, чтобы вывод содержащейся в них информации для пользователей представлял наименьший риск.
- Обеспечение прозрачности: Разработчики и операторы должны предоставлять достаточную информацию, позволяющую пользователям делать обоснованные оценки пригодности модели для их варианта использования. Информация о рисках, применяемых контрмерах, остающихся остаточных рисках или ограничениях должна быть четко представлена. На техническом уровне методы повышения понятности создаваемого контента и функционирования LLM могут обеспечить прозрачность.
- Аудит входных и выходных данных: Для устранения сомнительных и критических выходных данных и предотвращения непреднамеренных действий могут быть внедрены соответствующие фильтры для очистки входных и выходных данных. В зависимости от варианта использования пользователям должна быть предоставлена возможность проверить выходные данные, сопоставить их с другими источниками и, при необходимости, отредактировать их, прежде чем LLM приступит к выполнению действий.
- Отбор обучающих данных и управление ими. Разработчики должны обеспечить наилучшее функционирование модели путем надлежащего отбора, сбора и предварительной обработки обучающих данных. В то же время, хранение данных должно осуществляться профессионально, с учетом чувствительности собранных данных.
- Развитие практических знаний: магистратуры предлагают широкий спектр приложений и обладают потенциалом для продвижения цифровизации. Необходимо накапливать практические знания, чтобы реально оценить возможности и ограничения технологии.
