Проактивное управление рисками искусственного интеллекта. AI proactive risk management

– Оценка достоверности показателей угроз кибербезопасности

Сервис автоматического обмена индикаторами (AIS) позволяет организациям государственного и частного секторов добровольно делиться информацией о киберугрозах в режиме реального времени. Функция оценки достоверности индикаторов угроз кибербезопасности, входящая в состав сервиса AIS, использует процесс принятия решений на основе ИИ для присвоения «оценки достоверности» отправленной информации. Алгоритм оценки учитывает такие факторы, как наличие в отправленной информации технических деталей, которые ранее наблюдались или проверялись аналитиками. Оценка отражает достоверность и полноту отправленной информации и помогает аналитикам определить, какую информацию следует изучить в первую очередь. Набор показателей достоверности включается в набор данных об индикаторах наряду с другими полями. Показатели достоверности позволяют партнерам CISA по автоматизированному обмену индикаторами (AIS) контекстуализировать информацию об индикаторах для более эффективного сбора данных. Используемая техника искусственного интеллекта: Классификация.

– Обратный инжиниринг вредоносного ПО

Получение информацию об уязвимостях и угрозах компьютерной безопасности в виде образцов вредоносного кода (вредоносных программ) от своих федеральных гражданских партнёров и партнёров, работающих в критически важной инфраструктуре. Эти образцы вредоносных программ требуют ручного анализа для поиска полезной информации, связанной с вредоносными программами, например, признаков потенциального взлома или управления со стороны злоумышленников.

Эта функция искусственного интеллекта использует глубокое обучение, чтобы помочь аналитикам понять содержание образцов вредоносного ПО. Это одна из функций в более широком наборе инструментов для анализа методом обратного проектирования. Этот вариант использования позволяет усовершенствовать внутренние правительственные инструменты для обратного проектирования вредоносного ПО, ускоряя разработку информации о киберугрозах, которой обмениваются между ведомствами и партнёрами. Используемые методы ИИ: классификация, кластеризация, генеративный ИИ (генерация текста или кода), извлечение информации, технология языкового перевода (LTT)

– Обнаружение аномалий в сети критической инфраструктуры

Предоставление своевременной технической поддержки, помощи в управлении рисками и реагировании на инциденты по запросу федеральным и не федеральным партнёрам, работающим в сфере критически важной инфраструктуры. В рамках этой ответственности партнёры, работающие в сфере критически важной инфраструктуры, могут присоединиться к программам, которые отслеживают сети критически важной инфраструктуры. Помимо более широкого набора аналитических инструментов и методов, такие программы используют машинное обучение без учителя (алгоритмы, которые анализируют наборы данных без пометок) для выявления тенденций, закономерностей и аномалий в сетевых данных.

Эта функция ИИ автоматизирует процессы объединения и сопоставления данных, выполняемые вручную, и выявляет потенциальные аномалии для анализа аналитиками. Аналитики используют интерактивный интерфейс панели управления для доступа к результатам процесса ИИ и другим эвристическим методам, основанным на правилах, для дальнейшего запроса данных о кибербезопасности и выявления информации для потенциальных оповещений о киберугрозах. Этот вариант использования предоставляет аналитикам усовершенствованные государственные инструменты для поиска и обнаружения злоумышленников в критически важных инфраструктурных сетях. Используемые методы ИИ: обнаружение аномалий, непрерывная оценка (регрессия, прогнозирование и предсказание), генеративный ИИ (генерация текста или кода).

– Центр управления безопасностью (SOC) Обнаружение сетевых аномалий

Аналитики Центра по борьбе с угрозами и обеспечению безопасности (SOC) ежедневно обрабатывают терабайты данных сетевых журналов с датчиков сетевого трафика. Сеть датчиков отслеживает сетевой трафик на предмет вредоносной активности в участвующих государственных департаментах и агентствах и за их пределами. Эта функция ИИ использует такие методы, как машинное обучение без учителя (алгоритмы, которые анализируют наборы данных без пометок), для выявления тенденций, закономерностей и аномалий в сетевых данных.

Возможности ИИ автоматизируют процессы объединения и сопоставления данных, а также выявляют потенциальные аномалии, позволяя аналитикам сузить область анализа и определить приоритетность данных для изучения. Аналитики используют интерфейс для доступа к результатам процесса ИИ и другим эвристическим методам, основанным на правилах, для дальнейшего запроса данных о кибербезопасности и определения приоритетности оповещений для дальнейшего изучения. Этот вариант использования предоставляет аналитикам усовершенствованные государственные инструменты для поиска и обнаружения злоумышленников в сетях федеральных гражданских ведомств. Этот вариант использования теперь включает в себя модели оповещения о событиях и угрозах безопасности SIEM и расширенное оповещение об аномалиях в сети – два схожих варианта использования, которые были оптимизированы на основе схожести использования ИИ и соображений управления. Используемые методы ИИ: обнаружение аномалий, непрерывная оценка (регрессия, прогнозирование и предсказание), генеративный ИИ (генерация текста или кода)

Как работают кибератаки с использованием искусственного интеллекта?

Искусственный интеллект стал ключевой технологией в наборе ИТ – инструментов каждого предприятия, а также оружием в арсеналах киберпреступников.

Кибератаки на базе искусственного интеллекта используют алгоритмы и методы искусственного интеллекта или машинного обучения (ML) для автоматизации, ускорения или улучшения различных этапов кибератаки. Это включает в себя выявление уязвимостей, развертывание кампаний по выявленным направлениям атак, продвижение путей атаки, создание бэкдоров в системах, эксфильтрацию или подделку данных, а также вмешательство в работу системы.

Как и все алгоритмы искусственного интеллекта, алгоритмы, используемые при кибератаках с использованием ИИ, могут со временем обучаться и развиваться. Это означает, что кибератаки с использованием ИИ могут адаптироваться, чтобы избежать обнаружения или создать схему атаки, которую система безопасности не сможет обнаружить.

В отчете о глобальных угрозах за 2024 год сообщается о тревожном росте скрытой активности и киберугрозах, в которых доминирует скрытность. Число краж данных, взломов облачных сервисов и атак без использования вредоносных программ растет. Читайте о том, как злоумышленники продолжают адаптироваться, несмотря на достижения в области технологий обнаружения.

Кибератаки с использованием искусственного интеллекта имеют пять основных характеристик:

Автоматизация атак: До недавнего времени для большинства кибератак требовалась значительная практическая поддержка со стороны человека-противника. Однако растущий доступ к инструментам с поддержкой искусственного интеллекта и генеративных технологий позволяет злоумышленникам автоматизировать исследование и выполнение атак.

Эффективный сбор данных: Первым этапом любой кибератаки является разведка. В течение этого периода кибератакеры будут искать цели, уязвимые места, которые можно использовать, и активы, которые могут быть скомпрометированы. Искусственный интеллект может автоматизировать или ускорить большую часть этой работы, позволяя противникам значительно сократить этап исследования и потенциально повысить точность и полноту своего анализа.

Кастомизация: Одной из ключевых возможностей искусственного интеллекта является обработка данных, при которой собирается и анализируется информация из общедоступных источников, таких как сайты социальных сетей и корпоративные веб – сайты. В контексте кибератаки эта информация может быть использована для создания гиперперсонализированных, актуальных и своевременных сообщений, которые служат основой для фишинговых атак и других атак, использующих методы социальной инженерии.

Обучение с подкреплением: алгоритмы искусственного интеллекта обучаются и адаптируются в режиме реального времени. Эти инструменты постоянно совершенствуются, чтобы предоставлять корпоративным пользователям более точную информацию, а также помогают злоумышленникам совершенствовать свои методы или избегать обнаружения.

Таргетинг на сотрудников: Подобно кастомизации атак, искусственный интеллект может использоваться для идентификации людей в организации, которые являются важными целями. Это люди, которые могут иметь доступ к конфиденциальным данным или широкому доступу к системе, могут иметь более низкие технологические способности или иметь тесные связи с другими ключевыми целями.

Типы кибератак с использованием ИИ

Существует множество типов кибератак, которые могут быть осуществлены с помощью ИИ и машинного обучения. Некоторые из них включают в себя:

– Атаки с использованием социальной инженерии, управляемые ИИ

Атаки с использованием социальной инженерии, основанные на ИИ, используют алгоритмы ИИ для оказания помощи в исследованиях, разработке творческих концепций или проведении атак с использованием социальной инженерии. Атака социальной инженерии – это любой вид кибератаки, направленный на манипулирование поведением человека для достижения определенной цели, такой как обмен конфиденциальными данными, передача денег или права собственности на ценные предметы, или предоставление доступа к системе, приложению, базе данных или устройству.

При атаке с использованием социальной инженерии, основанной на искусственном интеллекте, можно использовать алгоритм, позволяющий выполнить следующие действия:

– Определить идеальную цель, включая как общую корпоративную цель, так и человека в организации, который может служить воротами в ИТ-среду

– Создавать имидж и соответствующее присутствие в Сети, чтобы поддерживать связь с объектом атаки

– Разрабатывать реалистичный и правдоподобный сценарий, который привлечет внимание

– Написать персонализированные сообщения или создавать мультимедийные ресурсы, такие как аудиозаписи или видеоматериалы, для привлечения внимания объекта

Фишинговые атаки с использованием искусственного интеллекта

Фишинговые атаки, управляемые искусственным интеллектом, используют генеративный искусственный интеллект для создания персонализированных и реалистичных электронных писем, SMS-сообщений, телефонной связи или общения в социальных сетях для достижения желаемого результата. В большинстве случаев цели этих атак те же, что и у атак социальной инженерии: получить доступ к конфиденциальной информации, получить доступ к системе, получить денежные средства или предложить пользователю установить вредоносный файл на свое устройство.

В сложных случаях искусственный интеллект может быть использован для автоматизации взаимодействия в режиме реального времени, используемого при фишинговых атаках. Например, чат-боты на базе искусственного интеллекта могут поддерживать взаимодействие, которое делает их практически неотличимыми от людей. Злоумышленники могут использовать эти инструменты, развернутые в больших масштабах, чтобы попытаться связаться с бесчисленным количеством пользователей одновременно. Во многих случаях эти чат-боты выдают себя за агентов службы поддержки клиентов, пытаясь собрать личную информацию и учетные данные учетной записи, сбросить пароли учетной записи или получить доступ к системе или устройству.

Глубокие подделки- Deep Fakes

Фейк – это видео, изображение или аудиофайл, созданные с помощью искусственного интеллекта и предназначенные для обмана людей. Фейки обычно появляются в Интернете только для того, чтобы развлечь и сбить с толку. Однако они также могут быть использованы более злонамеренно в рамках кампаний по дезинформации, «фейковых новостей», клеветнических кампаний в отношении высокопоставленных лиц или кибератак.

В контексте кибератак глубокая подделка обычно является частью кампании социальной инженерии. Например, злоумышленник может использовать существующие кадры с изображением руководителя компании или клиента для создания поддельной записи голоса или видеоматериала. Инструмент может имитировать голос пользователя и давать ему инструкции о выполнении определенных действий, таких как перевод средств, смена пароля или предоставление доступа к системе.

Состязательный искусственный интеллект/Adversarial AI/Adversarial ML

Состязательный ИИ или ML – это когда злоумышленник стремится нарушить работу или снизить точность систем ИИ/ML путем манипуляций или преднамеренной дезинформации. Злоумышленники используют несколько конкурирующих методов искусственного интеллекта/ОД, нацеленных на различные области разработки и эксплуатации моделей. К ним относятся:

Атаки с отравлением-Poisoning Attacks: Атаки с отравлением нацелены на данные обучения модели AI/ML, которые представляют собой информацию, используемую моделью для обучения алгоритма. При отравлении злоумышленник может ввести поддельную или вводящую в заблуждение информацию в обучающий набор данных, чтобы поставить под угрозу точность или объективность модели.

Атаки уклонения-Evasion Attacks: целью атак уклонения являются входные данные модели AI/ML. Эти атаки вносят незначительные изменения в данные, которые используются совместно с моделью, что приводит к их неправильной классификации и негативно влияет на прогнозирующие возможности модели.

Манипулирование моделью-Model Tampering: целью манипулирования моделью являются параметры или структура предварительно подготовленной модели искусственного интеллекта/ML. В ходе этих атак злоумышленник вносит несанкционированные изменения в модель, чтобы поставить под угрозу ее способность создавать точные выходные данные.

Вредоносные GPT/ Malicious GPTs

Генеративный предварительно обученный преобразователь (GPT) – это тип модели искусственного интеллекта, которая может генерировать интеллектуальный текст в ответ на запросы пользователя. Вредоносный GPT – это измененная версия GPT, которая выдает вредоносные или намеренно дезинформированные выходные данные.

В контексте кибератак вредоносный GPT может генерировать векторы атаки (например, вредоносное ПО) или вспомогательные материалы для атаки (например, мошеннические электронные письма или поддельный онлайн-контент) для продвижения атаки.

Атаки с использованием программ-вымогателей/ Ransomware Attacks

Программы-вымогатели с поддержкой ИИ – это тип программ-вымогателей, которые используют ИИ для повышения производительности или автоматизации некоторых аспектов атаки.

Например, ИИ можно использовать для исследования целей, выявления уязвимостей в системе или шифрования данных. Искусственный интеллект также может быть использован для адаптации и модификации файлов-вымогателей с течением времени, что затрудняет их обнаружение средствами кибербезопасности.

– Отчеты об охоте за угрозами/ Threat hunting Reports

В отчетах по поиску угроз раскрываются новейшие тактики современных злоумышленников и приводится аналитика, как эти злоумышленники продолжают развиваться и имитировать законное поведение пользователей.

Ограничения и риски использования ИИ в кибербезопасности

Хотя системы обнаружения на основе ИИ обладают значительными преимуществами, они не лишены недостатков, связанных с определёнными рисками:

– Ложные срабатывания: системы ИИ могут иногда выдавать ложные срабатывания, помечая законные действия как угрозы.

– Развивающиеся угрозы: по мере развития киберугроз системы искусственного интеллекта должны постоянно обновлять свои алгоритмы, чтобы оставаться эффективными.

– Проблемы конфиденциальности данных: системы ИИ обрабатывают большие объёмы данных, что вызывает опасения по поводу конфиденциальности и защиты данных.

Технология искусственного интеллекта имеет множество преимуществ для кибербезопасности, но её безопасность вызывает опасения у специалистов по безопасности. Необходимо понимать потенциальные риски, связанные с технологией искусственного интеллекта.

Интеграция технологий искусственного интеллекта в стратегии кибербезопасности сопряжена со множеством проблем. Некоторые из них обусловлены особенностями технологий искусственного интеллекта, такими как потребность в большей прозрачности и вопросы, связанные с качеством данных. Предвзятость или неточности в источниках контента, используемых для обучения алгоритма, могут повлиять на принятие решений в сфере безопасности.

Это может привести к искажению результатов алгоритмов ИИ и моделей машинного обучения. Это распространённые опасения, которые подчёркивают важность данных вопросов. Чтобы избежать этих рисков, важно, чтобы обучающие данные, используемые алгоритмами ИИ и моделями машинного обучения, были разнообразными и непредвзятыми.

– Уязвимость к атакам искусственного интеллекта

Решения в области кибербезопасности на основе ИИ в значительной степени зависят от данных, которые используются для машинного обучения и алгоритмов ИИ. Из-за этого специалисты по безопасности обеспокоены тем, что злоумышленники могут внедрять вредоносный контент, чтобы обойти защиту. В этом случае злоумышленники могут манипулировать алгоритмом, чтобы обойти защиту.

Кроме того, технология ИИ может создавать трудно обнаруживаемые угрозы, такие как фишинговые атаки с использованием ИИ. Ещё одна проблема, связанная с использованием ИИ в преступных целях, – это вредоносное ПО в сочетании с технологией ИИ, которое может обучаться на основе систем киберзащиты организации и создавать или находить уязвимости.

– Вопросы конфиденциальности

ИИ в сфере кибербезопасности вызывает особую озабоченность из-за множества законов и нормативных актов, в которых установлены строгие правила в отношении конфиденциальности данных и того, как можно собирать, обрабатывать и использовать конфиденциальную информацию. Инструменты кибербезопасности на основе ИИ собирают информацию из различных источников и в процессе сбора обычно получают конфиденциальную информацию. Злоумышленники, нацеленные на системы с этой информацией, подвергают эти хранилища данных риску кибератак и утечек данных.

Кроме того, использование технологии искусственного интеллекта для выявления факторов риска на основе больших массивов данных, включая личные сообщения, поведение пользователей и другую конфиденциальную информацию, может привести к нарушениям нормативных требований из-за риска неправомерного использования или несанкционированного доступа.

– Зависимость от искусственного интеллекта

Чрезмерная зависимость от ИИ может привести к нехватке специалистов по кибербезопасности, поскольку люди больше полагаются на технологии, чем на свой интеллект. Это может привести к самоуспокоенности специалистов по безопасности, поскольку они считают, что системы ИИ обнаружат любые потенциальные угрозы. Чтобы этого избежать, важно помнить, что человеческий интеллект по-прежнему играет ключевую роль в обеспечении безопасности.

Эксперты-люди привносят уникальный опыт в поиск и обнаружение угроз. К сожалению, некоторые организации пытаются заменить человеческий интеллект технологиями искусственного интеллекта, что может нанести ущерб общей безопасности.

– Этические дилеммы

Использование ИИ в сфере кибербезопасности поднимает дополнительные этические вопросы. При рассмотрении факторов риска, связанных с этическими проблемами, чаще всего упоминаются предвзятость ИИ и отсутствие прозрачности.

Предвзятость ИИ и отсутствие прозрачности могут привести к несправедливому преследованию и дискриминации конкретных пользователей или групп. Это может привести к ошибочной идентификации в качестве инсайдерской угрозы и нанести непоправимый ущерб.

– Стоимость внедрения

Внедрение технологий искусственного интеллекта в сферу кибербезопасности может быть дорогостоящим и требовать больших ресурсов, в том числе ограниченных человеческих ресурсов для настройки, развёртывания и управления системами искусственного интеллекта.

Кроме того, для решений на основе ИИ может потребоваться специализированное оборудование, вспомогательная инфраструктура, а также значительные вычислительные мощности и энергия для выполнения сложных вычислений. Хотя преимущества использования ИИ в сфере кибербезопасности неоспоримы, организации должны иметь полное представление о сопутствующих расходах, чтобы избежать неприятных сюрпризов.

Будущие тенденции в области обнаружения вторжений и аномалий с помощью ИИ

Область обнаружения вторжений и аномалий с помощью ИИ постоянно развивается. Некоторые будущие тенденции включают:

– Повышенная объяснимость: системы ИИ, предоставляющие чёткие объяснения своих решений для повышения прозрачности.

– Интеграция периферийных вычислений: устройства на базе ИИ на границе сети для более эффективного обнаружения угроз в реальном времени.

– Ролевой интеллект: системы искусственного интеллекта, вдохновлённые коллективным поведением, для более эффективного анализа угроз.

2.3. Правовые и этические аспекты применения ИИ:

– Регулирование использования ИИ в кибербезопасности

Искусственный интеллект (ИИ) является ключевым элементом кибербезопасности и предоставляет множество динамичных инструментов для борьбы со всё более сложными средствами кибератак. Тем не менее, интеграция ИИ в киберзащиту сопряжена с этическими и юридическими проблемами, которые следует решать с осторожностью, чтобы гарантировать ответственное использование этих технологий. Важнейший вопрос, касающийся этики ИИ в сфере киберзащиты, связан с его двойственной природой. Это означает, что ИИ может использоваться как в оборонительных, так и в разрушительных целях, что создаёт серьёзные моральные проблемы. В первом случае искусственный интеллект может помочь организациям реагировать на киберугрозы, тем самым повышая уровень защиты критически важной инфраструктуры, а также конфиденциальной информации. С другой стороны, эта же технология может способствовать развитию навыков противодействия в киберпространстве, тем самым потенциально усиливая конфликты и приводя к непредвиденным результатам. Более того, поскольку искусственный интеллект имеет двойное назначение, необходимо тщательно изучить возможные преимущества и недостатки, связанные с внедрением этой технологии, и создать эффективные правила для её ответственного использования.

Увеличение количества систем искусственного интеллекта, функционирующих без участия человека, привело к появлению различных мнений в сфере киберзащиты, а также к возникновению множества других этических дилемм. Это связано с тем, что самоуправляемые системы искусственного интеллекта могут самостоятельно принимать решения и совершать действия без участия человека, что ставит под сомнение вопросы подотчётности и ответственности. Существует множество юридических проблем, связанных с искусственным интеллектом. Если автономная система искусственного интеллекта принимает неверные решения, которые приводят к нарушению безопасности или непреднамеренной эскалации, неясно, кто должен нести за это ответственность: разработчики ИИ, операторы или организация, которая его внедрила. Например, установление чётких границ ответственности поможет обеспечить ответственное использование систем ИИ и принятие соответствующих мер в случае любых негативных последствий.

– Предвзятость в искусственном интеллекте

Предвзятость в искусственном интеллекте (ИИ) – это систематическая и несправедливая дискриминация в системах ИИ, часто отражающая предубеждения, присутствующие в данных, используемых для обучения этих систем. Предвзятость может возникать из-за различных факторов, включая сбор данных, разработку алгоритмов и методы внедрения. Предвзятость в обучающих данных возникает, когда данные, используемые для обучения модели ИИ, нерепрезентативны или отражают существующие предубеждения. Алгоритмическая предвзятость возникает из-за разработки и реализации самих алгоритмов, которые могут отдавать предпочтение одним группам перед другими. Предвзятость при развёртывании возникает, когда система ИИ используется в контексте, отличном от того, в котором она обучалась, что приводит к необъективным результатам.

Исследования показали, что многие системы распознавания лиц хуже работают с женщинами и темнокожими людьми. В исследовании (2018) Джой Буоламвини и Тимнита Гебру оценивалась точность трёх коммерческих алгоритмов определения пола. Выяснилось, что процент ошибок при определении пола у темнокожих женщин составлял 34,7%, а у светлокожих мужчин – 0,8%. Системы искусственного интеллекта, используемые при приёме на работу, могут закреплять гендерные предубеждения, если они обучены на исторических данных о приёме на работу, отражающих гендерное неравенство. В 2018 году компания Amazon отказалась от инструмента подбора персонала на основе ИИ, обнаружив, что он предвзято относится к женщинам. Общая точность была самой низкой для темнокожих женщин во всех протестированных системах.