Комментарии 0
...комментариев пока нет
В НАН будут разрабатывать системы безопасности для нейросетей
В Беларуси растет число секторов экономики, где в разной степени применяются технологии на основе искусственного интеллекта (ИИ). Банковский сектор поэтапно внедряет чат-боты, в машиностроении экспериментируют с беспилотными системами управления, используют ИИ и дроны для анализа состояния почвы и урожая. Также нейронные сети применяют и в здравоохранении: они являются основой для анализа ИИ-алгоритмами медицинских изображений и раннего выявления заболеваний. Указ Президента № 135 «О приоритетных направлениях научной, научно-технической и инновационной деятельности на 2026—2030 годы» утверждает развитие технологий на основе искусственного интеллекта как перспективную для государства сферу, а значит, их станет только больше. При этом эксперты отмечают, что уже сегодня необходимо задуматься о защите нейронных сетей от атак злоумышленников. В свою очередь, ученые Объединенного института проблем информатики Национальной академии наук Беларуси активно работают над созданием систем методов обеспечения безопасного использования искусственного интеллекта. О рисках и защите ИИ — подробнее в материале.
— Например, уже сейчас мы видим риск возможности идентификации личности человека в базе данных, где хранятся медицинские показатели. Такие базы данных должны иметь высокий приоритет защиты, поскольку хранят множество персональных данных, которые не должны быть в общем доступе. Допустим, там находятся цифровые снимки легких, и при этом у нас нет изображения лица человека. Мы должны уметь корректно сравнивать снимки легких одного человека, между которыми может быть разница в месяц, год или 10 лет. Мы пропустили эти данные через ИИ, и оказалось, что вероятность идентификации молодых людей гораздо выше, чем вероятность идентификации пожилых. Также мы заметили, что идентифицировать женщин проще, чем идентифицировать мужчин. Таким образом, уже можно выработать практические рекомендации по установке системы безопасности, — отметил ученый.
Василий Ковалёв.
Также, по его словам, имеется еще одна заметная проблема по злонамеренной модификации изображений с целью введения в заблуждение искусственного интеллекта.
— Благодаря экспериментам стало известно, что небольшие модификации исходных изображений, которые человек не может распознать своими глазами, приводят к тому, что нейросеть делает ошибки при принятии решений. Предположим, мы исследуем изображение на наличие онкологических заболеваний. При модификации таких изображений можно обнаружить или пропустить злокачественные образования. Таким образом, может быть совершена критическая ошибка, от которой будет зависеть жизнь человека. Если это проникнет в практику, то люди могут столкнуться с ужасными последствиями, — пояснил Василий Ковалёв.
По его словам, чтобы нивелировать данные атаки, необходимо создавать системы, которые обеспечивают высокую степень защиты. В НАН уже исследуют всевозможные методы атак на нейронные сети и занимаются поиском средств борьбы с ними.
— Приведенные примеры являются достаточно простыми видами атак. Есть более сложные способы модификации. Мы не можем закрывать глаза на эту проблему, поэтому изучаем разные атаки и способы защиты от них. Это вероятный риск, и нужно разрабатывать средства защиты до того, как проблема станет более серьезной, — подчеркнул Василий Ковалёв.
В целом условно выделяют две основные группы вредоносных воздействий на нейросети: атаки на «белый ящик» и на «черный ящик». Атака на «белый ящик» подразумевает, что у злоумышленника есть полный доступ к нейросети: известна ее архитектура, параметры или даже данные, на основе которых она обучалась, имеется доступ к серверу. В этом случае злоумышленник, например, может модифицировать входные данные так, чтобы ИИ выдавал ошибочный результат — распознавал запрещенный контент как безопасный, определял чужих людей как сотрудников компании. Вариантов много. Защита здесь будет обеспечена при усилении безопасности инфраструктуры и контроля доступа к ней.
При атаке «черного ящика» злоумышленник не знает внутреннего устройства модели и взаимодействует с ней только через внешний интерфейс. Это наиболее реальный сценарий. Как пример, атакующий отправляет множество запросов, анализирует ответы модели и подбирает входные данные, которые ее обманывают.
Наиболее заметные для граждан атаки заключаются в применении ИИ-моделей для модификации голоса. Заместитель начальника 1-го управления ГУПК МВД Павел Строк ранее отмечал, что мошенники адаптируются и разрабатывают более сложные и хитроумные подходы для выманивания денежных средств.
— Звонки становятся все более реалистичными благодаря использованию злоумышленниками искусственного интеллекта. Теперь они могут подделать голосовое сообщение даже от ваших родственников и коллег, — пояснил Павел Строк.
Кроме того, в интернете существенно выросло число приложений по созданию дипфейков. Сегодня таковых уже несколько десятков тысяч. Причем для изменения личности с помощью данных программ практически не нужно усилий и особых знаний — их интерфейсы максимально «дружелюбные». Они позволяют создавать как фото, так и видеоконтент. В «предприимчивых» руках такие технологии могут нанести существенные репутационные потери компаниям и даже целым государствам, создавая фейковые новости на любой вкус. Кажется, уже сейчас вопрос «Нужно ли применять технологии для обеспечения безопасности использования ИИ?» потерял актуальность. Ему на смену пришел другой: как именно и насколько быстро нужно обеспечить безопасность?
kryzhevich@sb.by
Необходимо думать наперед
Как отметил ведущий научный сотрудник лаборатории анализа биомедицинских изображений ОИПИ НАН Беларуси Василий Ковалёв, вопросы безопасности технологий, основанных на искусственном интеллекте, в контексте использования их в медицине могут в скором времени стать крайне актуальными.— Например, уже сейчас мы видим риск возможности идентификации личности человека в базе данных, где хранятся медицинские показатели. Такие базы данных должны иметь высокий приоритет защиты, поскольку хранят множество персональных данных, которые не должны быть в общем доступе. Допустим, там находятся цифровые снимки легких, и при этом у нас нет изображения лица человека. Мы должны уметь корректно сравнивать снимки легких одного человека, между которыми может быть разница в месяц, год или 10 лет. Мы пропустили эти данные через ИИ, и оказалось, что вероятность идентификации молодых людей гораздо выше, чем вероятность идентификации пожилых. Также мы заметили, что идентифицировать женщин проще, чем идентифицировать мужчин. Таким образом, уже можно выработать практические рекомендации по установке системы безопасности, — отметил ученый.
Василий Ковалёв.Также, по его словам, имеется еще одна заметная проблема по злонамеренной модификации изображений с целью введения в заблуждение искусственного интеллекта.
— Благодаря экспериментам стало известно, что небольшие модификации исходных изображений, которые человек не может распознать своими глазами, приводят к тому, что нейросеть делает ошибки при принятии решений. Предположим, мы исследуем изображение на наличие онкологических заболеваний. При модификации таких изображений можно обнаружить или пропустить злокачественные образования. Таким образом, может быть совершена критическая ошибка, от которой будет зависеть жизнь человека. Если это проникнет в практику, то люди могут столкнуться с ужасными последствиями, — пояснил Василий Ковалёв.
По его словам, чтобы нивелировать данные атаки, необходимо создавать системы, которые обеспечивают высокую степень защиты. В НАН уже исследуют всевозможные методы атак на нейронные сети и занимаются поиском средств борьбы с ними.
— Приведенные примеры являются достаточно простыми видами атак. Есть более сложные способы модификации. Мы не можем закрывать глаза на эту проблему, поэтому изучаем разные атаки и способы защиты от них. Это вероятный риск, и нужно разрабатывать средства защиты до того, как проблема станет более серьезной, — подчеркнул Василий Ковалёв.
Атаки и защита
При расширении применения ИИ в ключевых отраслях экономики защита таких систем станет критически важной задачей. Ведь атаки на ИИ могут привести к утечкам данных, финансовым потерям и, самое важное, к угрозе жизни граждан, например, в здравоохранении или при использовании беспилотных систем управления транспортом. Безопасность искусственного интеллекта уже начинает напоминать гонку вооружений — чем сложнее модели, тем изощреннее атаки. В целом условно выделяют две основные группы вредоносных воздействий на нейросети: атаки на «белый ящик» и на «черный ящик». Атака на «белый ящик» подразумевает, что у злоумышленника есть полный доступ к нейросети: известна ее архитектура, параметры или даже данные, на основе которых она обучалась, имеется доступ к серверу. В этом случае злоумышленник, например, может модифицировать входные данные так, чтобы ИИ выдавал ошибочный результат — распознавал запрещенный контент как безопасный, определял чужих людей как сотрудников компании. Вариантов много. Защита здесь будет обеспечена при усилении безопасности инфраструктуры и контроля доступа к ней.
При атаке «черного ящика» злоумышленник не знает внутреннего устройства модели и взаимодействует с ней только через внешний интерфейс. Это наиболее реальный сценарий. Как пример, атакующий отправляет множество запросов, анализирует ответы модели и подбирает входные данные, которые ее обманывают.
Наиболее заметные для граждан атаки заключаются в применении ИИ-моделей для модификации голоса. Заместитель начальника 1-го управления ГУПК МВД Павел Строк ранее отмечал, что мошенники адаптируются и разрабатывают более сложные и хитроумные подходы для выманивания денежных средств.
— Звонки становятся все более реалистичными благодаря использованию злоумышленниками искусственного интеллекта. Теперь они могут подделать голосовое сообщение даже от ваших родственников и коллег, — пояснил Павел Строк.
Кроме того, в интернете существенно выросло число приложений по созданию дипфейков. Сегодня таковых уже несколько десятков тысяч. Причем для изменения личности с помощью данных программ практически не нужно усилий и особых знаний — их интерфейсы максимально «дружелюбные». Они позволяют создавать как фото, так и видеоконтент. В «предприимчивых» руках такие технологии могут нанести существенные репутационные потери компаниям и даже целым государствам, создавая фейковые новости на любой вкус. Кажется, уже сейчас вопрос «Нужно ли применять технологии для обеспечения безопасности использования ИИ?» потерял актуальность. Ему на смену пришел другой: как именно и насколько быстро нужно обеспечить безопасность?
kryzhevich@sb.by