Людина на 5 з плюсом. Чи можуть нейромережі використовуватись для складання соціального рейтингу (який вже впливає на життя людей у КНР)? Колонка Сергія Жданова

Раз на тиждень спеціально для Заборони філософ технологій Сергій Жданов осмислює останні події техносвіту. В сьогоднішній колонці він розмірковує про те, як нейромережі розвинуть систему соціального рейтингу. Багато хто чув про рейтинг, що діє в Китаї, або бачив серію «Чорного дзеркала», в якій життя героїні перетворюється на пекло через низку ситуацій, що знижують її рейтинг. Механіка соціального рейтингу існує давно, але саме зараз, в часи розвитку нейромереж, здатних обробляти великі дані, цей рейтинг набуватиме нових рис.

Якщо ви ще не читали попередніх випусків, з ними можна ознайомитися тут, тут, тут, тут і тут. 

Інститут репутації, на який спирається механіка соціального рейтингу, існує тисячоліття: це сумарний портрет людини в очах спільноти, який оновлюється в реальному часі, історія її відносин із загальними правилами та пам’ять інших про те, чого людина заслуговує — допомоги, заохочення чи покарання. Репутацію складно заробити та легко втратити. Але, що важливіше, репутацію можна підробити.

На відміну від наших близьких та колег, цифровий соціальний рейтинг може знати про нас набагато більше, його неможливо підробити, а його оцінки та характеристики можуть мати значно серйозніші наслідки, ніж похвала чи критика людей. У сучасному вигляді система соціального рейтингу з’явилася в середині XX століття. В 1956 році американська компанія Fair, Isaac and Company (FICO) почала збирати дані про громадян з метою виставлення їм оцінки — індикатора ймовірності того, чи віддасть громадянин гроші, якщо банк видасть йому кредит. Щоб визначити кредитний рейтинг рядового американця, FICO збирали та записували на картонні картки сотні одиниць даних, з яких складався рейтинг платоспроможності та надійності людини. Використовувались не лише дані про гендер, вік та зарплату особи, а й, наприклад, відомості про тривалість проживання за однією адресою та роботи на одному місці чи про наявність у її оселі підключення до телефонної лінії. Починаючи з кінця 1980-х і до сьогодні, у 4 з 5 американців є місце у рейтингу FICO, де їхня фінансова благонадійність оцінюється в діапазоні від 300 до 850 очок: більше очок — легше взяти кредит, менше — складніше.

Соціальний рейтинг як явище, що нагадує антиутопію та надихнуло сценаристів «Чорного дзеркала» на знаменитий епізод, найбільш поширене в Китаї. Останні 20 років уряд намагається створити централізовану цифрову систему контролю за поведінкою громадян. Китайські чиновники, які стояли за створенням системи соціального рейтингу на початку XXI століття, спиралися саме на американський кредитний рейтинг FICO, але пішли далі — і в питаннях збору даних про громадян, і в масштабі впливу балів репутації на якість життя.

Реалізувати концепцію цифрового соціального рейтингу на практиці все більш імовірно завдяки поєднанню баз даних, що збільшуються щосекунди, і появі просунутих нейромереж. Навіть враховуючи, що державі та корпораціям відомо все про кожну дію громадянина, ефективно використовувати такі гігантські масиви даних неможливо. Ні у держслужбовця, ні в бізнесмена не вистачить здібності охопити всю доступну інформацію, не кажучи про те, щоб приймати на її основі зважені рішення. А ось суперкомп’ютери та нейромережі можуть легко «осмислювати» і «пускати в обіг» дані про сотні мільйонів громадян, які оновлюються в реальному часі і множаться щомиті.

З технічного погляду соціальний рейтинг складається з трьох компонентів:

У практичному сенсі соцрейтинг обертається для громадян (у Китаї — і для чиновників та бізнесменів) нарахуванням очок за їхні дії та включенням у списки, що обмежують або розширюють права та можливості. Наприклад, у КНР алгоритми можуть внести людей або компанії до чорного списку, через що вони тимчасово чи назавжди втрачають можливість користуватися банківськими рахунками та транспортними послугами або позбавляються права на певні види діяльності (наприклад, за торгові махінації забороняється торгувати). Якщо ж людину включили у «червоний список» (у Китаї червоний — позитивний колір), то вона користується привілеями: платить менше податків, швидше проходить у чергах, отримує знижки на подорожі та спрощений контроль на митницях.

Потреба в соціальному рейтингу буде більш актуальною під час об’єднання різних баз даних. Банківські та юридичні дані, медичні та інтернет-дані, інформація про характер та моральний образ громадянина —  все це обробляється в системі соцрейтингу КНР. Проте навіть Китаю, де уряд разом із технокорпораціями працює над рейтинг-ієрархіями, так і не вдалося створити всеосяжну базу даних та єдиний рейтинг на її основі. Натомість у різних містах та провінціях діють різні системи соціального рейтингу і, відповідно, різні правила та системи нагород і покарань.

Соціальний рейтинг не просто фіксує минуле, але дає змогу прораховувати майбутню поведінку людей. Банкіри використовують такі передбачувальні моделі, щоб спрогнозувати фінансову благонадійність клієнта, поліцейські — щоб запобігти злочинам (прямо як в розповіді письменника-фантаста Філіпа К. Діка), судді — щоб винести більш адекватні вироки, а лікарі — щоб знизити ризики хвороб.

Звичайно, така предиктивна функція соціального рейтингу може стати ефективним інструментом політичних репресій. Наприклад, знаючи, що певні громадяни мають протестний потенціал, уряд може заздалегідь обмежити їх у пересуванні, щоб вони не вийшли на мітинг.

Предиктивні можливості соціального рейтингу тільки збільшуватимуться разом зі зростанням баз даних та удосконаленням нейромереж, що виносять прогнози на їх основі. Нейромережі допоможуть системі соціального рейтингу швидко прогресувати: згодом вони не лише прораховуватимуть майбутні ризики та вибиратимуть, як цим ризикам протистояти, але робитимуть це дедалі точніше, навчаючись на минулих успіхах та помилках.

Попри те, що про цифровий соціальний рейтинг зазвичай говорять переважно в контексті авторитарної антиутопії та суспільства контролю, наводячи приклад китайської практики, соціальний рейтинг — це лише інструмент. Інструменти можна використовувати по-різному: у різних суспільствах та з різними цілями. На мою думку, системи рейтингу будуть повноцінно побудовані і в демократичних країнах з метою поліпшення взаємодії громадян. Ось принципові відмінности авторитарного та демократичного підходів.

Китайська система соцрейтингу створювалася не лише урядом, а й технокорпораціями Tencent та Alibaba, чиїми соцмережами та мікрофінансовими послугами користуються мільйони китайців. Корпорації навіть обігнали компартію у створенні актуальних баз даних про громадян, їхні купівлі та пересування, контакти та переваги, а також у розвитку нейромереж, на основі даних яких створювали архітектуру вибору, заохочень та покарань користувачів. Однак на початку 2020-х компартія приструнила технокорпорації та підкорила їхні напрацювання у сфері соціального рейтингу, змусивши їх більш відкрито ділитися даними та розкривати налаштування алгоритмів.

Така централізація рейтингу і становить авторитарний потенціал технології: якщо громадянин потрапив до чорного списку, це негативно позначиться на всіх сферах його життя. Наприклад, несплата боргів у Китаї може обернутися тим, що всім, хто дзвонить на номер боржника, включатимуть запис «зараз ви говоритимете з боржником». У такій системі винний перед державою винний і перед приватними компаніями, і якщо громадянин не згоден з такою оцінкою, виходу все одно немає: чорний список не дозволить йому виїхати зі свого міста — не те що змінити країну проживання.

Більшість із нас вже бере участь у соціальних рейтингах корпорацій на кшталт Apple та Google, які складаються з даних про класову належність, фінансові можливості та політичну орієнтацію — поки що ці дані використовуються для таргетингової реклами та підбірки контенту. Хоча розробники нізащо не назвуть свої алгоритми цими словами, але в кожній великій технокорпорації є не просто база даних про користувача, але і його «цифровий двійник» — створений нейромережами портрет людини, який використовують для передбачення її поведінки.

Поки Google використовує свою версію соціального рейтингу для того, щоб показувати користувачеві релевантні відео та рекламу, ми залишаємося в рамках демократії та капіталізму, знаючи, що перегляди відео на YouTube не позначаться на зарплаті або тривалості очікування в черзі до кабінету лікаря. Але якщо Google, Amazon, Apple та інші технокорпорації об’єднаються між собою та з урядом, неоплачений дорожній штраф забере право подивитися відео, а серія переглянутих матеріалів радикального характеру може привести людину у виправну колонію.

Щоб такого не сталося, треба дотримуватися децентралізації баз даних та алгоритмів, що застосовуються до них. Але головне питання у тому, хто і з якою метою використовує соціальний рейтинг. Американські банки та цифрові корпорації використовують його для максимізації свого прибутку, а уряд Китаю — для боротьби з протестами та збереження влади. 

Тож соціальний рейтинг може і надалі залишатися демократичним лише в країні, де:

У такому суспільстві соціальний рейтинг може допомогти реалізувати ідею меритократії — влади найчемніших (чесних, розумних, відповідальних) членів суспільства замість влади найбагатших чи представників спадкової еліти, як це відбувається в більшості країн. Цифровий рейтинг допоможе соціальному ліфту їздити гладко з самого низу наверх на вражаючих швидкостях: людина з будь-якого суспільного прошарку може заробити повагу і право на управління країною, а керівники від президента та міністра до члена парламенту можуть втратити посаду через громадське невдоволення.