Нейромережі вистежують жінок без хіджабів — це один з прикладів прозорості громадян перед технологіями, яка чекає на всіх нас. Колонка Сергія Жданова

Раз на тиждень філософ технологій та автор телеграм-каналу «Чорт ногу сломит» Сергій Жданов пише для Заборони колонку про те, як технології змінять майбутнє. В минулих текстах Жданов аналізував те, як нова прозорість — доступність інформації про всіх — змінить устрій політичних урядів та корпорацій. Нижче — як нова прозорість буде використана проти найбільш вразливої групи — суспільства. Всередені: як нейромережі вистежують жінок без хіджабів, та чому розумні міста будуть знати все про дії людини.

Інтернет зробив усе позапросторовим, доступним і, головне, видимим. Зв’язуватися й працювати з людьми з різних кінців світу, знаходити майбутніх партнерів у дейтинг-додатках, купувати, не виходячи з дому, — за це технології стали стягувати додаткову плату, на яку мало хто звернув увагу. 

Користуючись інтернетом, ми все більше й більше розповідаємо про себе та передаємо особисті дані сотням незнайомих людей і компаній. Хоча в 1990-х інтернет позиціювався як простір анонімності й свободи, на початку 2000-х Google вирішив, що деанонімізація може стати золотою жилою. 

Інженери компанії зробили користувачів інтернету прозорими, навіть якщо вони цього не хочуть. На основі точного знання, хто зараз сидить за комп’ютером та переглядає певний сайт, розробили рекламний сервіс AdWords, який став однією з найприбутковіших бізнес-моделей в історії людства. У 2009 році колишній CEO Google Ерік Шмідт підсумував: якщо вам потрібна приватність, краще не шукати її в інтернеті. 

Естафету з деанонімізації користувачів підхопила Facebook, чий CEO Марк Цукерберг називав себе прихильником радикальної прозорості. Соціальна мережа не тільки знала, хто зараз перед екраном, але змусила користувачів реєструватися під справжнім ім’ям і зробила неодмінною частиною соціальних мереж інформацію про те, з ким людина товаришує та спілкується, де працює й на що витрачає гроші, з ким зустрічається і чого боїться.

Усі ці знання стали осідати в цифрових профілях користувачів, які Facebook навчився безпрецедентно монетизувати. Своє розуміння нової прозорості Цукерберг висловив майже дзенським коаном: «У людини є лише одна особистість. Часи, коли для друзів ви були одним, а для колег — іншим, добігають кінця». 

Сьогодні думка Шмідта наштовхує на висновок, що в недалекому майбутньому сучасні міста теж перестануть бути місцем, де є сенс шукати приватність. Наприклад, щоб уявити нову прозорість у місті епохи ШІ, достатньо подивитися на магазини Amazon без людського персоналу. На вході в такий магазин нейромережа розпізнає користувача й отримає доступ до його банківського рахунку, простежить за кожною дією, вирахує, перед купівлею якого продукту він довго роздумує, зафіксує список придбаного та його усереднений чек.

Цифрове місто й суспільство нової прозорості — це макромодель такого розумного магазину: ШІ-система розпізнаватиме користувача/громадянина в будь-якій точці міського середовища, фіксуватиме його вибори та взаємодію з оточенням, а потім — зараховуватиме або списуватиме очки/бали/гроші за певні види інтеракцій. Усі дії й висловлювання, інтереси й страхи, переваги й антипатії — усе оцінять та зважать алгоритми. Це і буде новою прозорістю громадян.

Нова прозорість і приватність

Наприкінці нульових, коли питання приватності набули нової актуальності через появу смартфонів — ідеальних пристроїв для стеження за мільярдами користувачів, — серед законодавців розгорталися гарячі дискусії. Під час таких дебатів світоч американської юриспруденції суддя Антонін Скаліа назвав ідею про право людей на інформаційну приватність дурістю.

У відповідь на це професор Фордгемського університету Джоель Райденберг дав студентам завдання зібрати якнайдокладніше досьє про суддю з відкритих джерел в інтернеті. Результатом став 15-сторінковий документ: домашня адреса, телефон і пошта Скаліа, його улюблені телешоу та смакові вподобання. 

Ошелешений Скаліа відповів, що «часто легальні дії можуть бути безвідповідальними. Вправа Райденберга — приклад абсолютно легального, але страшенно недалекоглядного судження». Однак Скаліа не зробив нічого, щоб «абсолютно легальні, але жахливо недалекоглядні» практики наглядового капіталізму технокорпорацій та «Великого Братства» держав зупинилися. 

На відміну від нової прозорості держави й бізнесу, про які я писав у попередніх колонках, нова прозорість громадян — більш реалізований з технічного погляду концепт. Навколо прозорості користувачів вишикувалася ціла економічна система — наглядовий капіталізм, у рамках якого персональні дані вважаються «новою нафтою». Бізнеси заробляють на нас, ходячих свердловинах з нафтою, великі гроші, а політичні режими контролюють суспільство — аж до обмежень його пересування та блокування рахунків, як це буває з китайськими громадянами з антикомуністичними поглядами. 

Якщо раніше природним вважалася приватність дому та відкритість громадських місць, то з розвитком інтернету межі розмилися. Технокорпорації присутні в домівках і не приховують, що стежать за користувачами нонстоп. Уряди користуються послугами приватних компаній, які можуть зламати смартфони приватних осіб аж до Джеффа Безоса, а їхні спецслужби прослуховують розмови й читають документи урядів інших країн.

Корпораціям, спецслужбам, хакерам, дата-брокерам та іншим сучасним сталкерам відомі подробиці й патерни наших життів. Більшість власників інформації про приватну особу використовують її з комерційною метою, проте кейс Cambridge Analytica та виборів президента США у 2016 році показав, що зібрані в сірий спосіб дані можуть використовувати для досягнення політичних цілей через масові психологічні маніпуляції, неможливі в суспільствах із непрозорими громадянами.

Легально, напівлегально чи нелегально — сьогодні кожен охочий може зібрати докладне досьє, як зробили студенти із суддею Скаліа. Тільки тепер воно куди докладніше, інтерактивніше й оновлюється в реальному часі, а аналізувати його можуть не лише студенти, маркетологи та політологи, а й просунуті нейромережі, яких не було ще півтора року тому.

ШІ та прозорі громадяни

Нова прозорість — зовсім не інноваційна концепція. Досить згадати міфи та релігійний дискурс про всевидячі божества (чи демонів?). Можна було обманути священників чи жерців, які служать богам, але не самих богів. Штучний інтелект у сучасній і далеко не остаточній своїй версії багато в чому не відрізняється від всезнавчих божеств, і з кожною годиною різниця між богами минулого та нейромережами майбутнього випаровується.

У попередніх колонках я описував, як виглядатиме прозорість держави й бізнесу, а також як уже нині ШІ інтегруються в систему соціального рейтингу в КНР та західних країнах. Штучний інтелект посідає центральне місце в щораз ближчій новій прозорості, оскільки тільки ШІ здатен опрацьовувати гігантську кількість інформації про громадян і робити судження, наскільки паралельні їхні цінності лінії уряду. 

У найближчому майбутньому нейромережі зможуть у рази ефективніше контролювати культурні, соціальні та релігійні норми. Наприклад, в Ірані запрацювали нейромережі, які розпізнають у громадських місцях не прикритих хіджабом жінок — дивна еклектична реальність, де вигадані століття тому релігійні догми нав’язують за допомогою технологій. 

Недотримання закону в суспільстві нової прозорості неможливо приховати, тому, поки нейромережі підпорядковуються урядам, головною проблемою стає визначення норм та законів, порушення яких вважається злочином. Ці норми можуть визначати або уряди, або корпорації, або самі громадяни — залежно від типу суспільства. 

Скажімо, у демократичному суспільстві нова прозорість може допомогти вдосконалити законодавство. Якщо ШІ бачить, що якийсь закон порушує 80% громадян, то, можливо, з’явиться стимул змінити цей закон — або ж уряд має обґрунтовувати, навіщо правила, які всі порушують. Прозорість в авторитарному суспільстві, навпаки, нав’яже громадянам абсурдні правила, недотримання яких фіксуватимуть і каратимуть. 

Сьогодні й у найближчому майбутньому процвітає так звана епістемна нерівність — коли громадяни знають про можновладців набагато менше, ніж можновладці про громадян. Проте що довше політики користуватимуться нейромережами для «читання» громадян, то більш вправними ставатимуть нейромережі й то легше їм буде спостерігати і за можновладцями. Зрештою поділ прозорості на уряд, бізнес та громадян відійде на задній план, оскільки всі ми — просто люди — станемо прозорими для машин. 

У 2017 році Джек Ма, CEO китайської технокорпорації Alibaba, говорив, що за 30 років на обкладинці Forbes будуть ро́боти, які отримують нагороди за роль найкращих керівників. Ма, здається, помилився з датою: поява нейромережевого топменеджменту станеться вже цього десятиліття, а ще через 10 років ШІ, ймовірно, візьме на себе управління цілими країнами.

У будь-якому разі значення ШІ-систем зростатиме з кожним роком, і з помічника людських наглядачів вони перетворяться на самостійного спостерігача з правом ухвалювати рішення щодо людей. ШІ розвиватиметься й ускладнюватиметься, дедалі глибше проникаючи в усі сфери суспільного життя — від управління корпораціями та державами до модерації особистих стосунків людей і курування їхнього психологічного стану на автоматичній основі.

Прозорість громадян навіть більшою мірою, ніж видимість держави й бізнесу, штовхає людство в принципово новий стан: тотальна оголеність людини перед машиною з одного боку, повна непроникність машини перед людиною — з іншого.

Це нагадує стосунки мертвих предків зі своїми богами. Але цього разу боги будуть справжніми.