Експерти зі США та Китаю закликали Вашингтон і Пекін виробити спільні правила для запобігання небезпечним інцидентам із використанням автономних систем штучного інтелекту. Йдеться, зокрема, про ризики втручання ШІ в системи ядерного командування, управління та зв’язку, а також проведення кібероперацій, передає ua.news.
Рекомендації оприлюднили старша наукова співробітниця Brookings Institution Мелані Сіссон і доцент Фуданьського університету Тяньцзяо Цзян. Вони беруть участь у неофіційному діалозі США та Китаю щодо ШІ й національної безпеки, який Brookings Institution та Центр міжнародної безпеки і стратегії Університету Цінхуа проводять із 2019 року.
ШІ не повинен самостійно ініціювати кібератаки
Сіссон запропонувала закріпити принцип, за яким лише люди можуть ухвалювати рішення про початок кібератак із використанням ШІ проти ядерних командних систем або критично важливої інфраструктури іншої держави.
За оцінкою експертів, автономна система може вийти за межі заданих інструкцій, дати збій або бути скомпрометована. У такому випадку країні, яка зазнала атаки, може знадобитися час, щоб встановити, чи була вона навмисною, випадковою або результатом несанкціонованої роботи системи.
Цзян також запропонував визначити «червоні лінії» для військового ШІ. Зокрема, штучний інтелект не повинен самостійно ухвалювати рішення про застосування ядерної зброї чи запускати атаки проти систем ядерного командування.
Пропонують захистити критичну інфраструктуру
Експерт також виступив за визначення сфер критичної інфраструктури, які мають бути захищені від автономних атак. Серед них — енергетика, фінансовий сектор та охорона здоров’я.
Окремим завданням має стати узгодження між Вашингтоном і Пекіном поняття «змістовного людського контролю» над військовими системами ШІ. За словами Цзяна, такі домовленості потрібні, щоб політичні заяви про людський контроль перетворилися на практичні механізми.
США та Китаю потрібен канал зв’язку для інцидентів із ШІ
Цзян також запропонував створити окрему військову «гарячу лінію» між США та Китаєм для реагування на інциденти за участю ШІ.
Потенційний ризик полягає в тому, що автоматизовані системи можуть реагувати одна на одну швидше, ніж люди встигнуть оцінити ситуацію. Наприклад, оборонна система однієї держави може сприйняти підозрілу активність як загрозу й автоматично відреагувати, після чого інша сторона може розцінити цю відповідь як початок атаки.
Експерти вважають, що прямий канал комунікації міг би допомогти знизити ризик помилкової ескалації. Brookings та Університет Цінхуа наголошують, що розвиток військового ШІ випереджає формування механізмів управління відповідними ризиками.
Водночас уряди США та Китаю наразі публічно не підтримали всі запропоновані експертами механізми. При цьому Вашингтон і Пекін уже домовлялися про необхідність зберігати людський контроль над рішеннями щодо застосування ядерної зброї. Тепер експерти пропонують поширити цей принцип і на пов’язані з ШІ кібероперації та системи військового управління.
