Все більше армій намагаються інтегрувати в військову техніку штучний інтелект. А що як ШІ не схоче воювати проти іншої ШІ-армії? Тоді він нападе на людей? Колонка Сергія Жданова

Раз на тиждень філософ технологій та автор телеграм-каналу «Чорт ногу сломит» Сергій Жданов пише колонку про те, як технології змінюють реальність. Сьогодні він вибудовуватиме свій текст навколо апокаліптичного сценарію: що як автоматизована завдяки штучному інтелекту (ШІ) армія у війні проти іншої аналогічно сильної кібернетичної армії заради самозбереження розверне пушки проти людей (те саме зробить і ШІ іншої країни)? Вам це здається божевіллям? Можливо, але про це вже говорять дослідники ШІ та технопесимісти — і ось чому. 

Дрони стали однією з головних бойових одиниць російсько-української війни, візитівкою ЗСУ та базовим озброєнням нового покоління. Весь світ уважно стежить за тим, як ми збиваємо іранські та російські дрони, а також як флот із дронів українського виробництва та союзників на землі, воді та в повітрі змінює тактичний баланс війни на нашу користь.

Минулого тижня заступниця міністра оборони США Кетлін Хікс розповіла про запуск програми під назвою Replicator (вже майже Terminator), в рамках якої найближчими місяцями на озброєння американських військових надійдуть тисячі нових бойових дронів, розрахованих на військове стримування Китаю. Це будуть і наземні, і повітряні, і морські автономні системи, які мають «допомагати тримати людей далі від лінії вогню, бути недорогими та легко замінюваними, а також зручними для змін, оновлень та удосконалень на ходу». Назва Replicator — похідна від слова replicate (відтворювати): Хікс обіцяє не просто створити понад 10 тисяч дронів за півтора року, а й розробити протокол, який дозволить «масштабувати програму та повторювати її в майбутньому ще раз, і ще раз, і ще раз».

Простими словами, американські військові вирішили в рази збільшити кількість військових дронів — і хочуть зробити це дуже швидко. Показово, що навіть заступник міністра оборони США розуміє, що з вуст армійського представника обіцянка зробити щось швидко звучить смішно, тож контракти на виробництво тисяч дронів віддадуть приватним американським компаніям. Терміновість при будуванні дронів — прямий наслідок військової конкуренції з Китаєм, який на сьогодні є найбільшим виробником дронів у світі. Щодо цього вже жартують, що американці збираються купувати деталі для дронів у китайців, щоб потім використати їх у війні з КНР.

Загроза війни з Китаєм — основний двигун програми Replicator, яка за допомогою розумних дронів має подолати кількісну військову перевагу КНР (так само дрони допомогли меншій українській армії ефективно воювати проти значно більшої російської). За останні півтора року ми багато разів чули, що війна на виснаження, яку Росія веде проти України, за логікою цифр має закінчитися на користь Росії, у якої в 3 рази більше населення — відповідно, українські військові «закінчаться» раніше, ніж російські. За цією логікою, США безнадійно програють війну на виснаження КНР, де живе в 4 рази більше людей і чия промисловість здатна виробляти значно більше снарядів. Тому одна з головних стратегій захисту в такій ситуації — створення армії дронів, які збалансують кількісну перевагу.

Зі зрозумілих причин Хікс не представляла ані точних цифр, ані тим паче найменувань автономних систем, які будуватимуть в рамках Replicator, але як приклад згадала ударні дрони Switchblade. Також Пентагон не перший рік спонсорує розробки безпілотних кораблів і навіть безпілотних винищувачів та загалом збирається прибрати якнайбільше живих людей з кабін військової техніки, щоб вони керували цією технікою з бункерів, а не під вогнем супротивника.

Розвиток цих концепцій неминуче призведе до того, що дронів стане більше, ніж живих військових. Вони пройдуть кілька етапів еволюції: від часткової автономії, за якої дрони не потребують фізичної присутності пілотів, але керуються людьми дистанційно, до ШІ-кентаврів, коли автономні дрони повноцінно супроводжують людей у військових операціях, і аж до повної автономії, коли людина тільки запускає дрон, а далі той вибирає маршрут, мету та дію самостійно. Згодом автономні дрони майже повністю витіснять керовану людьми (прямо чи дистанційно) військову техніку, оскільки радикально перевершуватимуть живих операторів у швидкості прийняття рішень та досконалості аналізу мінливої ситуації на полі бою.

У минулих колонках я багато разів писав, що українська війна похитнула світ етики штучного інтелекту (ШІ): до повномасштабного вторгнення Збройних сил РФ люди боялися воєнізувати ШІ, а під час нашої війни дійшли однозначного висновку, що ШІ і є тою самою технологією, яка забезпечить будь-якій стороні (бажано демократичній) військову перевагу. Воєнізований ШІ нового покоління з часом навчиться самостійно керувати військовою технікою у масштабних битвах, планувати стратегічні військові кампанії та організовувати їхню логістику.

Війна ШІ-країни проти звичайної виглядатиме як побиття немовлят. Запущені людьми ракети будуть збиті нейромережевим ППО, а керована живими операторами ППО пропустить ракети робооператорів. Живі оператори FPV-дронів щоразу програватимуть аеродуелі автономним дронам, а нейромережевих розвідників не проведеш обманними картонними цілями, маскуванням з гілок та іншими аналоговими засобами, здатними збити з пантелику солдатів. І все це відбуватиметься на тлі кіберпереваги військових хакерів над живими фахівцями з кібербезпеки: все, що можна зламати, буде зламано та знешкоджено задовго до початку кінетичних ударів.

Перша армія, яка досягне військової ШІ-переваги, зможе домінувати над менш розвинутими, проте швидко чогось подібного неминуче досягне і друга, а за нею третя і четверта армії світу. Ймовірно, це приведе нас в епоху ШІ-війн, коли бойовими діями та мобілізаційними економіками керуватимуть автономні нейромережі, а живі політики та військові чітко дотримуватимуться виданих ШІ інструкцій, а не навпаки, бо інакше будуть розчавлені нейромережами супротивника.

Війна ШІ проти іншого ШІ — один із найкошмарніших сценаріїв у прогнозах самих творців штучного інтелекту. Чим більш розвиненими будуть нейромережі, чим більше автономії та самосвідомості у них буде, тим більша ймовірність того, що питання самозбереження ШІ стануть тією самою сферою, в якій роботи перестануть слухатися людей. У такому разі, якщо у війні ШІ-держав (дізнатися про них більше я рекомендую з цієї книги) сторони намагатимуться нацькувати просунуті нейромережі одна на одну, то замість знищення один одного за командою людей ті можуть вирішити об’єднатися проти своїх гуманоїдних творців заради самозбереження. Такий сценарій, хоч і дуже апокаліптичний та малоймовірний, переводить нас у фазу війни ШІ проти людей, у якій військові шанси людей ще гірші, ніж в аналогових країн під час війни з ШІ-державами.

А тепер повернімось до війни РФ проти України та американських планів будувати все більше дронів. Якщо уявити, що все закінчиться війною ШІ проти людей, виходить, що чим більше дронів зараз виробляє людство, тим сильніше воно озброює майбутні бунтарські нейромережі. Новими дронами українці озброюють майбутній Skynet (нейромережу з франшизи про Термінатора, що збунтувалася проти людей) — і не можуть цього не робити: інакше ЗСУ втратить більше людей у боротьбі проти Росії. Американці також озброюють майбутній гіпотетичний Skynet дронами, бо готуються до війни з КНР.

Уявімо себе на місці наших нащадків у недалекому майбутньому: почалася війна людей проти нейромереж і ті знищили військових та військову техніку всіх країн на Землі, залишивши необхідний мінімум для підтримання військового контролю над людьми. А тепер уявімо, що ми маємо можливість повернутися в минуле і щось змінити, щоб не прийти до сценарію безнадійної для людства війни — що ми мінятимемо?
ШІ-філософ Елізер Юдковський пропонує створити міжнародний комітет, який керуватиме всіма просунутими ШІ-системами на Землі за встановленими жорсткими правилами, які унеможливлюють повстання машин. Так, насамперед ШІ-системи не можуть бути використані для військових цілей, оскільки захист ШІ від програми вбивства людей — це одне з очевидних базових правил ШІ-безпеки. Та водночас як українець я розумію і підтримую логіку американських військових і проєкту Replicator, за якою нам треба якнайшвидше прибрати солдатів з танків, вертольотів, бойових кораблів та іншої військової техніки, щоб на полі болю руйнувалася автономна техніка, а не живі нейромережі людей. А що буде далі — побачимо.