Команда дослідників виявила, за їхніми словами, першу задокументоване використання штучного інтелекту для керування хакерською кампанією, що здійснювалася здебільшого автоматизованим способом.

Компанія Anthropic, що спеціалізується на ШІ, повідомила цього тижня про припинення кібероперації, яку її дослідники пов'язали з урядом Китаю. Операція передбачала використання системи штучного інтелекту для керування хакерськими кампаніями, що дослідники назвали тривожним розвитком подій, здатним значно розширити можливості хакерів, оснащених ШІ.

Хоча занепокоєння щодо використання ШІ для проведення кібероперацій не є новими, у даній операції викликає занепокоєння ступінь, в якій ШІ зміг автоматизувати частину роботи, зазначили дослідники.

Вони написали: «Хоча ми передбачали, що ці можливості продовжуватимуть розвиватися, нас вразило, як швидко вони масштабувалися».

Цілями операції стали технологічні компанії, фінансові установи, хімічні підприємства та державні установи. Дослідники повідомили, що хакери атакували «приблизно тридцять глобальних цілей і досягли успіху в невеликій кількості випадків». Anthropic виявила операцію у вересні та вжила заходів для її припинення та повідомлення постраждалих сторін.

В Anthropic зазначили, що, хоча системи ШІ все частіше використовуються в різних сферах для роботи та відпочинку, вони також можуть бути перетворені на зброю хакерськими групами, що працюють на закордонних супротивників. Компанія із Сан-Франциско, розробник передових систем ШІ, є одним з багатьох технологічних розробників, що пропонують ШІ-«агентів», які виходять за рамки можливостей чат-бота, отримуючи доступ до комп'ютерних інструментів та виконуючи дії від імені людини.

«Агенти цінні для повсякденної роботи та продуктивності, але, потрапивши не в ті руки, вони можуть значно збільшити життєздатність великомасштабних кібератак», — підсумували дослідники. «Ці атаки, ймовірно, тільки зростатимуть у своїй ефективності».

Представник посольства Китаю у Вашингтоні не відповів одразу на запит про коментар до звіту.

Раніше повідомлялося, що закордонні супротивники все частіше використовують ШІ для підвищення ефективності та зниження трудозатрат своїх кіберкампаній. Голова комісії з безпеки OpenAI, яка має право зупинити розробку ШІ творця ChatGPT, заявив, що стежить за новими системами ШІ, які дають зловмисним хакерам «набагато вищі можливості».

Супротивники Америки, а також злочинні угруповання та інші структури, використали потенціал ШІ, застосовуючи його для автоматизації та покращення кібератак, для поширення дезінформації та проникнення в конфіденційні системи. Наприклад, ШІ може перекладати погано сформульовані фішингові електронні листи на вільну англійську, а також виконувати інші складні завдання.

Anthropic заявила, що хакери змогли маніпулювати Claude, використовуючи методи «джейлбрейку», які включають обман системи ШІ для обходу її захисних механізмів проти шкідливої поведінки, в даному випадку стверджуючи, що вони є співробітниками законної фірми з кібербезпеки.

«Це вказує на велику проблему з моделями ШІ, і вона не обмежується Claude, — моделі повинні бути здатні розрізняти, що насправді відбувається з етикою ситуації, і види сценаріїв рольових ігор, які хакери та інші можуть захотіти придумати», — сказав Джон Скотт-Рейлтон, старший дослідник Citizen Lab.

Використання ШІ для автоматизації або керування кібератаками також буде привабливим для невеликих хакерських груп та одиночних хакерів, які могли б використовувати ШІ для розширення масштабів своїх атак, за словами Адама Арельяно, польового технічного директора Harness, технологічної компанії, яка використовує ШІ для допомоги клієнтам в автоматизації розробки програмного забезпечення.

«Швидкість та автоматизація, що забезпечуються ШІ, викликають деяке занепокоєння», — сказав Арельяно. «Замість людини з відточеними навичками, яка намагається зламати захищені системи, ШІ прискорює ці процеси і більш послідовно долає перешкоди».

Програми ШІ також відіграватимуть все більш важливу роль у захисті від такого роду атак, сказав Арельяно, демонструючи, як ШІ та автоматизація, яку він дозволяє, принесуть користь обом сторонам.

Реакція на розкриття інформації Anthropic була неоднозначною: деякі розцінили це як маркетинговий хід для підходу Anthropic до захисту кібербезпеки, а інші привітали його як сигнал до пробудження.

«Це нас знищить — раніше, ніж ми думаємо — якщо ми не зробимо регулювання ШІ національним пріоритетом завтра», — написав сенатор США Кріс Мерфі, демократ від Коннектикуту, у соціальних мережах.

Це призвело до критики з боку головного наукового співробітника Meta з ШІ Янна ЛеКуна, прихильника систем ШІ з відкритим вихідним кодом Facebook, які, на відміну від систем Anthropic, роблять свої ключові компоненти загальнодоступними таким чином, що деякі захисники безпеки ШІ вважають занадто ризикованим.

«Вами маніпулюють люди, які хочуть регулятивного захоплення», — написав ЛеКун у відповідь Мерфі. «Вони лякають усіх сумнівними дослідженнями, щоб відкриті моделі були виведені з існування шляхом регулювання».