Вимірювання рухомого тіла
Про високотехнологічний арсенал європейських прикордонних технологій часто розповідають як про футуристичну казку про світло, швидкість і обчислювальну потужність. Системи ідентифікації, такі як база даних Eurodac, зберігають, обробляють і порівнюють оцифровані відбитки пальців мігрантів за допомогою ближнього інфрачервоного світла, оптоволоконних кабелів і централізованих серверів. Дрони патрулюють небо з немиготливими оптичними датчиками. А великі обсяги даних надходять до комп’ютерних програм, які прогнозують наступний сплеск прибуття мігрантів.
Новини та Звіти НУО що зосереджуються на високотехнологічному характері європейських кордонів. У кожному з них йдеться про те, як дистанційні форми спостереження, стримування і контролю дедалі більше доповнюють, а в деяких випадках і замінюють прикордонні укріплення. Хоча такого роду дослідження і адвокація є важливими для притягнення ЄС і розробників технологій до відповідальності за їхню роль у підштовхуванні шукачів притулку до смертельно небезпечних маршрутів міграції, вони залишають поза увагою довгу історію цих технологій і їхню усталену роль в західних апаратах управління. Це не тільки ризикує посилити “ажіотажу навколо AI” серед політиків і розробників, які вітають ці інструменти як засіб як для створення “розумніших” кордонів, так і для захисту прав людини мігрантів.Що ще важливіше, така історична амнезія може призвести до того, що насильство та виключення, спричинені цими технологіями, будуть сприйматися як технічна проблема “упередженості”, яку легко виправити за допомогою більш точних вимірювань або більших наборів даних. Натомість, більшу частину шкоди, спричиненої цими технологіями, слід розуміти як таку, що закладена в їхньому дизайні.
Каталог ідентифікації
19 Там само.
20 Галтон провів подібне дослідження на єврейських школярах, шукаючи расові маркери єврейства.
21 K. Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021, pp. 126-7.
22 R. W. Cox, 'Social Forces, States and World Orders: Beyond International Relations Theory', Millennium, Vol. 10, No. 2, 1981, pp. 126-155.
Р. В. Кокс, "Соціальні сили, держави і світові порядки: поза теорією міжнародних відносин
23 Н. Новотний, У ШІ ми віримо: потужність, ілюзія та контроль предиктивних алгоритмів. Поліс, 2021, с. 22.
24 Там само.
19 Там само.
20 Галтон провів подібне дослідження на єврейських школярах, шукаючи расові маркери єврейства.
.
21 K. Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021, pp. 126-7.
22 R. W. Cox, 'Social Forces, States and World Orders: Beyond International Relations Theory', Millennium, Vol. 10, No. 2, 1981, pp. 126-155.
Р. В. Кокс, "Соціальні сили, держави і світові порядки: поза теорією міжнародних відносин
23 Н. Новотний, У ШІ ми віримо: потужність, ілюзія та контроль предиктивних алгоритмів. Поліс, 2021, с. 22.
24 Там само.
Як зазначає дослідниця ШІ та кордонів Луїза Амур (Louise Amoore), створення алгоритмічних кластерів як представлення вроджених, "природних" закономірностей на основі даних є "надзвичайно потужною політичною пропозицією", оскільки вона "пропонує обіцянку нейтрального, об'єктивного та вільного від цінностей формування та розмежування політичної спільноти".18 Ідея алгоритмічного кластеру як "природної спільноти" містить значний расистський хід: форми поведінки, пов'язаної з неврегульованою міграцією, відтепер називаються "ризикованими". Оскільки ці кластери формуються без прив'язки до заздалегідь визначених критеріїв, таких як "класичні" проксі-критерії раси, такі як національність або релігія, їх важко оскаржити за допомогою існуючих концепцій, таких як захищені характеристики або упередження.19 Наприклад, мігрант може бути ідентифікований як загроза безпеці алгоритмом машинного навчання на основі непрозорої кореляції між маршрутами подорожей, публікаціями в соціальних мережах, особистими та професійними мережами та погодними умовами.
Створення категорій відповідно до притаманних їм атрибутів перегукується з іншими практиками ХІХ століття, а саме з низкою наукових досліджень, що використовували вимірювання та статистику для виявлення закономірностей і шаблонів, які б вказували на злочинну поведінку. Подібно до неконтрольованого машинного навчання, краніометрія, френологія та кримінальна антропологія систематично накопичували дані про людей, щоб виявити закономірності, які можна було б відсортувати за категоріями злочинності.
Наприклад, такі френологи, як Франц Йозеф Галл, пов'язували специфічні риси особистості з особливостями розташування ділянок черепа. У суміжній галузі фізіогноміки такі діячі, як швейцарський пастор Йоганн Каспар Лаватер, систематично вивчали риси обличчя як орієнтир для злочинної поведінки. Завдяки розвитку фотографії, дослідження ознак злочинності на обличчі набули поширення, а засуджені та в'язні притулків неодноразово ставали об'єктами таких "досліджень". Прикладом можуть слугувати комбіновані фотографії Френсіса Гальтона, засновника руху євгеніки та піонера ідентифікації за відбитками пальців: зображення засуджених накладали одне на одне, щоб виявити закономірності як фізичні маркери злочинності.20
Кримінальна антропологія об'єднала ці підходи в послідовну спробу піддати тіло злочинця науковому вивченню. Під керівництвом італійського психіатра і антрополога Чезаре Ломброзо кримінальні антропологи використовували широкий спектр антропоморфних інструментів вимірювання, від точних вимірювань кінцівок Бертильона до краніометричних вимірювань черепа, картографування рис обличчя і відмічання характерних ознак, таких як шрами і татуювання. На цій основі вони склали список так званих "стигм" або фізичних закономірностей, які можна знайти в тілі "природженого злочинця". Хоча це поняття сьогодні широко дискредитоване, основний метод класифікації на основі масових даних все ще існує.
Довіра до висновків, зроблених на основі кількісного аналізу рис обличчя, залишається сильною спокусою. У статті 2016 року стверджується, що було успішно навчено алгоритм глибокої нейронної мережі прогнозувати злочинність на основі фотографій голови з водійських прав, а в дослідженні 2018 року робилися подібні заяви про зчитування сексуальної орієнтації з фотографій на сайтах знайомств.
Критично ставлячись до цих систем, необхідно пам'ятати про ширший політичний проект, який вони покликані підтримувати. Як пише дослідниця ШІ Кейт Кроуфорд: "Співвідношення морфології черепа з інтелектом і претензіями на юридичні права слугує технічним алібі для колоніалізму і рабства. Хоча існує тенденція зосереджуватися на помилках у вимірах черепа і способах їх виправлення, набагато більша помилка полягає у світогляді, що лежить в основі цієї методології. Тому метою має бути не заклик до більш точних або "справедливих" вимірювань черепа для підкріплення расистських моделей інтелекту, а засудження такого підходу в цілому." 21 Інакше кажучи, методи класифікації та кількісної оцінки не можуть бути відокремлені від соціально-політичних контекстів, які вони мають перевіряти і за які вони мають відповідати. Перефразовуючи дослідника міжнародних відносин Роберта Кокса, класифікація і кількісна оцінка завжди для когось і з якоюсь метою.22
Втім, як застерігає дослідниця науки і технологій Хельга Новотни, якщо ми "довіряємо" результатам алгоритмічного прогнозування як фундаментально вірним, ми неправильно розуміємо логіку роботи глибоких нейронних мереж. Ці мережі "можуть лише виявляти закономірності та ідентифікувати патерни на основі даних, які надходять з минулого. Ніяких причинно-наслідкових міркувань тут немає, і штучний інтелект не робить вигляд, що вони є." 23
Хоча ці машини можуть виробляти "практичні та вимірювані прогнози", вони не мають відчуття причин і наслідків - коротше кажучи, вони не мають "розуміння" в людському розумінні.24 Більше того, надмірна довіра до алгоритмів підштовхує нас до детермінізму, узгоджуючи нашу поведінку з машинним прогнозом замість альтернативних шляхів. Це проблема політичних культур, що ґрунтуються на підзвітності. Якщо ми хочемо вчитися на минулому, щоб будувати краще майбутнє, ми не можемо покладатися на прогнози моделі машинного навчання.
Ай дежавю
Існує багато ниток, окрім спільної і постійної залежності від кількісної оцінки і класифікації, за які можна потягнутись, щоб дослідити заплутану історію технологій спостереження та ідентифікації від ХІХ століття до сьогодення. Маргіналізовані, надлишкові групи населення, такі як засуджені та колонізовані народи, здавна використовувалися як "технологічні полігони" для відточування класифікаційних систем і тренування алгоритмів. Страх перед неконтрольованою мобільністю людини продовжує використовуватися як рушійна сила для досліджень і розробок, а технології, в свою чергу, застосовуються для вирішення проблем, які вони самі ж і створили. А позитивістські методи соціальних наук залишаються інструментом для перекладу ревучих множин в акуратні числові значення.
Замість того, щоб піддаватися на галас навколо ШІ, ми можемо налаштуватися на відчуття дежавю: тривожне відчуття, що ми вже бачили все це раніше. Таким чином, ми зможемо краще протистояти фантастичним заявам корпоративних і прикордонних акторів і почати відокремлювати технології від глобальних проектів панування.
**
Ця стаття базується на дослідженнях, проведених в рамках проекту "Еластичні кордони: Переосмислення кордонів 21-го століття" на базі Університету Грацу, за фінансової підтримки фонду NOMIS.
1 A. Bertillon, Instructons signalétiques, Melun, 1893, plate 16, p. 262.
2 Я входжу до групи дослідників у проекті "Еластичні кордони", що фінансується НОМІС; Проект "Еластичні кордони", Університет Граца, Австрія.
3 Див. також: M. Maguire, 'Biopower, Racialization and New Security Technology', Social Identities, Vol. 18, No.5, 2012, pp. 593-607; K. Donnelly, 'We Have Always Been Biased: Вимірювання людського тіла від антропометрії до обчислювальних соціальних наук", Public, Vol. 30, No. 60, 2020, pp. 20-33; A. Valdivia and M. Tazzioli, 'Genealogies beyond Algorithmic Fairness: Making up racialized subjects", в Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency, FAccT '23, Association for Computing Machinery, 2023, pp. 840-50..
4 Якщо відбитки були взяті в Греції, але шукача притулку пізніше затримали в Німеччині, він може бути висланий до Греції для розгляду його заяви.
5 B. Ayata, K. Cupers, C. Pagano, A. Fyssa and D. Alaa, Впровадження підходу ЄС "гарячих точок" в Греції та Італії: Порівняльний та міждисциплінарний аналіз (робочий документ), Швейцарська мережа міжнародних досліджень, 2021, с. 36.
6 J.B. Rule, Private Lives and Public Surveillance, Allen Lane, 1973.
7 Там само, с. 91.
8 M. Фуко, Суспільство треба захищати. Лекції у Колеж де Франс, 1975-76, пер. Д. Мейсі, Пікадор, 2003, с. 244. 9 S. A. Cole, Особистості підозрюваних: Історія дактилоскопії та кримінальної ідентифікації, Harvard University Press, 2001, p.12. S. A. Cole, "Підозрювані особи: історія дактилоскопії та кримінальної ідентифікації", Harvard University Press, 2001, p.12.
10 Там само, с. 18-9.
11 Там само, с. 34-45. 12 Там само, с. 48. 13 M. Foucault, Порядок речей. Routledge, 1975. 14 Z. Bauman, Modernity and the Holocaust, Blackwell Publishers, 1989.
15 D. Ferreira da Silva, Toward a Global Idea of Race, University of Minnesota Press, 2007.
16 S. Wynter, 'Unsettling the coloniality of being/power/truth/freedom: Назустріч людині, після людини, її надмірна репрезентація - аргумент", CR: The New Centennial Review, Vol. 3, No. 3, 2003, pp. 257-337.
S. Wynter, 'Unsettling the coloniality of being/power/truth/freedom: Towards the human, after man, its overrepresentation - an argument'.
17 G. C. Bowker and S. L. Star, Розбираючи речі: Класифікація та її наслідки, MIT press, 2000, с. 196.
G. C. Bowker and L. Star, "Sorting out things: Classification and its consequences".
18 L. Amoore, 'The deep border', Political Geography, 2001, 102547.
19 Там само.
20 Галтон провів подібне дослідження на єврейських школярах, шукаючи расові маркери єврейства.
.
21 K. Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021, pp. 126-7.
22 R. W. Cox, 'Social Forces, States and World Orders: Beyond International Relations Theory', Millennium, Vol. 10, No. 2, 1981, pp. 126-155.
Р. В. Кокс, "Соціальні сили, держави і світові порядки: поза теорією міжнародних відносин
23 Н. Новотний, У ШІ ми віримо: потужність, ілюзія та контроль предиктивних алгоритмів. Поліс, 2021, с. 22.
24 Там само.
Альфонс Бертильйон був першим, хто вирішив цю проблему, поєднавши систематичні вимірювання людського тіла з архівуванням та веденням записів. Криміналіст покращив пошук записів, сортуючи записи за номерами, а не за алфавітом, створивши систему індексації, повністю засновану на антропоморфних вимірах. Картотеки були організовані відповідно до ієрархічної класифікаційної системи, де інформація спочатку поділялася за статтю, потім за довжиною голови, шириною голови, довжиною середнього пальця і так далі. Кожен набір вимірів був розділений на групи на основі статистичної оцінки їх розподілу серед населення, а середні значення встановлювалися шляхом зняття вимірів у засуджених. Оператор Bertillon брав профіль підозрюваного з архіву і шукав збіг за допомогою процесу виключення: спочатку виключаючи стать, яка не збігалася, потім довжину голови, яка не збігалася, і так далі. Якщо попередній збіг був знайдений, це підтверджувалося посиланням на тілесні ушкодження, також перераховані в картці. Скрізь, де була впроваджена ця система, показники розпізнавання "рецидивістів" різко зросли; система Бертілона незабаром поширилася по всьому світу.11
.
З появою Бертілона з'явилася ще одна ознака сучасної технології охорони кордонів і спостереження: кількісна оцінка, або те, що сьогодні називають "датафікацією". Бертильйон не лише вимірював зріст і довжину голови ув'язнених, але й винайшов метод перекладу характерних особливостей тіла в код. Наприклад, якщо у в'язня був шрам на передпліччі, попередні системи ідентифікації злочинців просто зазначали це у справі. На відміну від них, система Бертілона вимірювала відстань від певної точки відліку. Потім ці дані були записані в стандартизованій формі з використанням ідіоми скорочень і символів, які передавали ці описи в скороченому вигляді. Отриманий в результаті портрет parlé, або розмовний портрет, переписував фізичне тіло на "універсальну мову" "слів, чисел і закодованих абревіатур".12 Вперше в історії точний опис предмета міг бути переданий телеграфом.
Переклад тіла в код досі лежить в основі сучасних методів біометричної ідентифікації. Ідентифікація за відбитками пальців Системи, які вперше були випробувані і розгорнуті в колоніальній Індії, перетворювали візерунки папілярних гребенів в код, який потім можна було порівняти з іншими кодами, згенерованими таким же чином. Розпізнавання обличчя технологія створює схематичні зображення обличчя і присвоює йому числові значення, що дозволяє порівнювати і зіставляти. Інші форми біометричної ідентифікації, такі як голосова ідентифікація, сканування райдужної оболонки ока та розпізнавання ходи, працюють за тим самим принципом.
Від таксономії до машинного навчання
Крім кількісної оцінки, класифікація - ключовий інструмент генерації знань та управління протягом століть - є ще однією відмінною рисою сучасних і новітніх технологій спостереження та ідентифікації. Як зазначають багато вчених, від Фуко13 до Зигмунта Баумана14 і Деніз Феррейра да Сілва15 , класифікація є центральним інструментом європейського Просвітництва, про що найбільш знаково свідчить таксономія Карла Ліннея. У своїй градуйованій таблиці Лінней назвав, класифікував та ієрархічно впорядкував світ природи від рослин до комах і людини, розділивши та поділивши кожну групу відповідно до спільних характеристик. Класифікація і таксономії широко розглядаються як вираження фундаментальних епістемологічних зрушень від теоцентричної до раціоналістичної епістемології в ранньомодерну епоху, які уможливили наукові прориви, але також були пов'язані з колонізацією і поневоленням.
16 У своїй книзі на цю тему Джеффрі Боукер і Сьюзен Лі Стар підкреслюють використання класифікації як потужного, але часто невизнаного інструменту політичного впорядкування: "Політично і соціально заряджені порядки денні часто спочатку подаються як суто технічні, і їх важко навіть побачити. У міру того, як шари системи класифікації перетворюються на працюючу інфраструктуру, початкове політичне втручання стає все більш і більш міцно вкоріненим. У багатьох випадках це призводить до натуралізації політичної категорії через процес конвергенції. Вона стає само собою зрозумілою." 17
Сьогодні класифікація займає центральне місце в машинному навчанні - підгалузі штучного інтелекту, призначеній для розпізнавання закономірностей у великих обсягах даних. Це дозволяє йому не лише класифікувати величезні обсяги інформації, але й передбачати та класифікувати нові, раніше небачені дані. Іншими словами, він застосовує набуті знання до нових ситуацій. Хоча дослідження машинного навчання почалися ще в середині минулого століття, нещодавно воно набуло безпрецедентної популярності завдяки таким програмам, як ChatGPT.
Машинне навчання також все частіше застосовується в прикордонній роботі. Рідко використовуване як окрема технологія, воно широко розгортається в існуючих технологіях для покращення і прискорення давно встановлених форм спостереження, ідентифікації та сортування. Наприклад, алгоритмічне прогнозування, яке аналізує великі обсяги даних, включаючи моделі пересування, пости в соціальних мережах, політичні конфлікти, стихійні лиха тощо, все частіше замінює статистичне моделювання міграції з метою складання графіків міграційних моделей. Європейська Комісія наразі фінансує дослідження алгоритмічних методів, які розширять існуючі форми аналізу ризиків, спираючись на ширші джерела даних для виявлення нових форм "ризикованої" поведінки. Машинне навчання також випробовується або використовується в "детекторі брехні" прикордонників, розпізнаванні діалекту, відстеження та ідентифікація підозрілих суден, розпізнавання облич на внутрішніх кордонах ЄС та аналіз поведінки в'язнів у грецьких таборах. Як показує цей широкий спектр застосувань, здається, немає жодної прикордонної технології, яка б не підпадала під дію машинного навчання, чи то аналіз зображень, знятих дронами, чи то перевірка заяв про надання притулку.
Класифікація лежить в основі машинного навчання - або, принаймні, того типу машинного навчання на основі даних, який сьогодні став домінуючим. Окремі точки даних організовуються в категорії та підкатегорії, і цей процес здійснюється або через контрольоване, або через неконтрольоване навчання. У керованому навчанні навчальні дані позначаються відповідно до заздалегідь визначеної таксономії. На практиці це зазвичай означає, що люди присвоюють мітки таким даним, як "собака", зображенню цієї собаки. Модель машинного навчання навчається на цьому маркованому наборі даних, визначаючи закономірності, які корелюють з мітками. При неконтрольованому навчанні дані не маркуються людиною. Замість цього алгоритм самостійно визначає шаблони і структури в даних. Іншими словами, алгоритм класифікує дані, створюючи власні кластери на основі закономірностей, притаманних набору даних. Він створює власну таксономію категорій, яка може збігатися або не збігатися зі створеними людиною системами.
Передбачуваний тип злочинця
Як зазначає дослідниця ШІ та кордонів Луїза Амур (Louise Amoore), створення алгоритмічних кластерів як представлення вроджених, "природних" закономірностей на основі даних є "надзвичайно потужною політичною пропозицією", оскільки вона "пропонує обіцянку нейтрального, об'єктивного та вільного від цінностей формування та розмежування політичної спільноти".18 Ідея алгоритмічного кластеру як "природної спільноти" містить значний расистський хід: форми поведінки, пов'язаної з неврегульованою міграцією, відтепер називаються "ризикованими". Оскільки ці кластери формуються без прив'язки до заздалегідь визначених критеріїв, таких як "класичні" проксі-критерії раси, такі як національність або релігія, їх важко оскаржити за допомогою існуючих концепцій, таких як захищені характеристики або упередження.19 Наприклад, мігрант може бути ідентифікований як загроза безпеці алгоритмом машинного навчання на основі непрозорої кореляції між маршрутами подорожей, публікаціями в соціальних мережах, особистими та професійними мережами та погодними умовами.
Створення категорій відповідно до притаманних їм атрибутів перегукується з іншими практиками ХІХ століття, а саме з низкою наукових досліджень, що використовували вимірювання та статистику для виявлення закономірностей і шаблонів, які б вказували на злочинну поведінку. Подібно до неконтрольованого машинного навчання, краніометрія, френологія та кримінальна антропологія систематично накопичували дані про людей, щоб виявити закономірності, які можна було б відсортувати за категоріями злочинності.
Наприклад, такі френологи, як Франц Йозеф Галл, пов'язували специфічні риси особистості з особливостями розташування ділянок черепа. У суміжній галузі фізіогноміки такі діячі, як швейцарський пастор Йоганн Каспар Лаватер, систематично вивчали риси обличчя як орієнтир для злочинної поведінки. Завдяки розвитку фотографії, дослідження ознак злочинності на обличчі набули поширення, а засуджені та в'язні притулків неодноразово ставали об'єктами таких "досліджень". Прикладом можуть слугувати комбіновані фотографії Френсіса Гальтона, засновника руху євгеніки та піонера ідентифікації за відбитками пальців: зображення засуджених накладали одне на одне, щоб виявити закономірності як фізичні маркери злочинності.20
Кримінальна антропологія об'єднала ці підходи в послідовну спробу піддати тіло злочинця науковому вивченню. Під керівництвом італійського психіатра і антрополога Чезаре Ломброзо кримінальні антропологи використовували широкий спектр антропоморфних інструментів вимірювання, від точних вимірювань кінцівок Бертильона до краніометричних вимірювань черепа, картографування рис обличчя і відмічання характерних ознак, таких як шрами і татуювання. На цій основі вони склали список так званих "стигм" або фізичних закономірностей, які можна знайти в тілі "природженого злочинця". Хоча це поняття сьогодні широко дискредитоване, основний метод класифікації на основі масових даних все ще існує.
Довіра до висновків, зроблених на основі кількісного аналізу рис обличчя, залишається сильною спокусою. У статті 2016 року стверджується, що було успішно навчено алгоритм глибокої нейронної мережі прогнозувати злочинність на основі фотографій голови з водійських прав, а в дослідженні 2018 року робилися подібні заяви про зчитування сексуальної орієнтації з фотографій на сайтах знайомств.
Критично ставлячись до цих систем, необхідно пам'ятати про ширший політичний проект, який вони покликані підтримувати. Як пише дослідниця ШІ Кейт Кроуфорд: "Співвідношення морфології черепа з інтелектом і претензіями на юридичні права слугує технічним алібі для колоніалізму і рабства. Хоча існує тенденція зосереджуватися на помилках у вимірах черепа і способах їх виправлення, набагато більша помилка полягає у світогляді, що лежить в основі цієї методології. Тому метою має бути не заклик до більш точних або "справедливих" вимірювань черепа для підкріплення расистських моделей інтелекту, а засудження такого підходу в цілому." 21 Інакше кажучи, методи класифікації та кількісної оцінки не можуть бути відокремлені від соціально-політичних контекстів, які вони мають перевіряти і за які вони мають відповідати. Перефразовуючи дослідника міжнародних відносин Роберта Кокса, класифікація і кількісна оцінка завжди для когось і з якоюсь метою.22
Втім, як застерігає дослідниця науки і технологій Хельга Новотни, якщо ми "довіряємо" результатам алгоритмічного прогнозування як фундаментально вірним, ми неправильно розуміємо логіку роботи глибоких нейронних мереж. Ці мережі "можуть лише виявляти закономірності та ідентифікувати патерни на основі даних, які надходять з минулого. Ніяких причинно-наслідкових міркувань тут немає, і штучний інтелект не робить вигляд, що вони є." 23
Хоча ці машини можуть виробляти "практичні та вимірювані прогнози", вони не мають відчуття причин і наслідків - коротше кажучи, вони не мають "розуміння" в людському розумінні.24 Більше того, надмірна довіра до алгоритмів підштовхує нас до детермінізму, узгоджуючи нашу поведінку з машинним прогнозом замість альтернативних шляхів. Це проблема політичних культур, що ґрунтуються на підзвітності. Якщо ми хочемо вчитися на минулому, щоб будувати краще майбутнє, ми не можемо покладатися на прогнози моделі машинного навчання.
Ай дежавю
Існує багато ниток, окрім спільної і постійної залежності від кількісної оцінки і класифікації, за які можна потягнутись, щоб дослідити заплутану історію технологій спостереження та ідентифікації від ХІХ століття до сьогодення. Маргіналізовані, надлишкові групи населення, такі як засуджені та колонізовані народи, здавна використовувалися як "технологічні полігони" для відточування класифікаційних систем і тренування алгоритмів. Страх перед неконтрольованою мобільністю людини продовжує використовуватися як рушійна сила для досліджень і розробок, а технології, в свою чергу, застосовуються для вирішення проблем, які вони самі ж і створили. А позитивістські методи соціальних наук залишаються інструментом для перекладу ревучих множин в акуратні числові значення.
Замість того, щоб піддаватися на галас навколо ШІ, ми можемо налаштуватися на відчуття дежавю: тривожне відчуття, що ми вже бачили все це раніше. Таким чином, ми зможемо краще протистояти фантастичним заявам корпоративних і прикордонних акторів і почати відокремлювати технології від глобальних проектів панування.
**
Ця стаття базується на дослідженнях, проведених в рамках проекту "Еластичні кордони: Переосмислення кордонів 21-го століття" на базі Університету Грацу, за фінансової підтримки фонду NOMIS.
1 A. Bertillon, Instructons signalétiques, Melun, 1893, plate 16, p. 262.
2 Я входжу до групи дослідників у проекті "Еластичні кордони", що фінансується НОМІС; Проект "Еластичні кордони", Університет Граца, Австрія.
3 Див. також: M. Maguire, 'Biopower, Racialization and New Security Technology', Social Identities, Vol. 18, No.5, 2012, pp. 593-607; K. Donnelly, 'We Have Always Been Biased: Вимірювання людського тіла від антропометрії до обчислювальних соціальних наук", Public, Vol. 30, No. 60, 2020, pp. 20-33; A. Valdivia and M. Tazzioli, 'Genealogies beyond Algorithmic Fairness: Making up racialized subjects", в Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency, FAccT '23, Association for Computing Machinery, 2023, pp. 840-50.
.
4 Якщо відбитки були взяті в Греції, але шукача притулку пізніше затримали в Німеччині, він може бути висланий до Греції для розгляду його заяви.
5 B. Ayata, K. Cupers, C. Pagano, A. Fyssa and D. Alaa, Впровадження підходу ЄС "гарячих точок" в Греції та Італії: Порівняльний та міждисциплінарний аналіз (робочий документ), Швейцарська мережа міжнародних досліджень, 2021, с. 36.
6 J.B. Rule, Private Lives and Public Surveillance, Allen Lane, 1973.
7 Там само, с. 91.
8 M. Фуко, Суспільство треба захищати. Лекції у Колеж де Франс, 1975-76, пер. Д. Мейсі, Пікадор, 2003, с. 244.
9 S. A. Cole, Особистості підозрюваних: Історія дактилоскопії та кримінальної ідентифікації, Harvard University Press, 2001, p.12.
S. A. Cole, "Підозрювані особи: історія дактилоскопії та кримінальної ідентифікації", Harvard University Press, 2001, p.12.
10 Там само, с. 18-9.
11 Там само, с. 34-45.
12 Там само, с. 48.
13 M. Foucault, Порядок речей. Routledge, 1975.
14 Z. Bauman, Modernity and the Holocaust, Blackwell Publishers, 1989.
15 D. Ferreira da Silva, Toward a Global Idea of Race, University of Minnesota Press, 2007.
16 S. Wynter, 'Unsettling the coloniality of being/power/truth/freedom: Назустріч людині, після людини, її надмірна репрезентація - аргумент", CR: The New Centennial Review, Vol. 3, No. 3, 2003, pp. 257-337.
S. Wynter, 'Unsettling the coloniality of being/power/truth/freedom: Towards the human, after man, its overrepresentation - an argument'.
17 G. C. Bowker and S. L. Star, Розбираючи речі: Класифікація та її наслідки, MIT press, 2000, с. 196.
G. C. Bowker and L. Star, "Sorting out things: Classification and its consequences".
18 L. Amoore, 'The deep border', Political Geography, 2001, 102547.
19 Там само.
20 Галтон провів подібне дослідження на єврейських школярах, шукаючи расові маркери єврейства.
.
21 K. Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021, pp. 126-7.
22 R. W. Cox, 'Social Forces, States and World Orders: Beyond International Relations Theory', Millennium, Vol. 10, No. 2, 1981, pp. 126-155.
Р. В. Кокс, "Соціальні сили, держави і світові порядки: поза теорією міжнародних відносин
23 Н. Новотний, У ШІ ми віримо: потужність, ілюзія та контроль предиктивних алгоритмів. Поліс, 2021, с. 22.
24 Там само.
Впровадження передових технологій для контролю людської мобільності не є чимось новим. Уявіть собі міську європейську поліцейську дільницю наприкінці дев'ятнадцятого століття. Якби муніципалітет прийняв на озброєння новітні технології ідентифікації, підозрювані проходили б складний процес вимірювання. Зняття їхніх вимірів було точним і вузькоспеціалізованим процесом, що вимагав кваліфікованого і підготовленого техніка.
Ознайомтеся з цими інструкціями для вимірювання вуха:
Оператор підводить нерухому губку інструменту до верхнього краю вушної раковини та іммобілізує її, досить сильно натискаючи великим пальцем лівої руки на верхній кінець губки інструменту, а іншими пальцями руки упирається у верхню частину черепа. Тримаючи держак кронциркуля паралельно осі вуха, він обережно просуває рухому щелепу, поки вона не торкнеться нижнього кінця мочки, і, перш ніж прочитати вказане число, переконується, що козелок [зовнішня частина вуха] жодним чином не притиснутий жодною щелепою.1
Цей процес може здатися химерним, хоча й дещо цікавим пережитком Fin de Siècle, але це зовсім не так. Бертильонаж, система вимірювання, класифікації та архівування для ідентифікації злочинців, розроблена в 1870-х роках французьким поліцейським клерком з однойменною назвою, стала важливою віхою в історії технологій спостереження та ідентифікації. Прикметно, що його ключові принципи лежать в основі технологій ідентифікації донині - від баз даних до біометрії і машинного навчання.
Існує тісний історично сформований зв'язок між побоюваннями щодо неконтрольованого розповсюдження різних "небажаних" осіб і технологічними інноваціями. Методи ХІХ століття, розроблені і вдосконалені для вирішення проблем, пов'язаних з бродяжництвом, колоніальним управлінням, девіаціями, божевіллям і злочинністю, лежать в основі сучасного високотехнологічного апарату прикордонного нагляду. Ці методи включають квантифікацію, яка робить людське тіло кодом, класифікацію, а також сучасні методи індексації та архівування.
Сучасна інвазивна реєстрація
Розумні прикордонні системи використовують передові технології для створення "сучасних, ефективних та дієвих кордонів". У цьому контексті передові технології часто зображують як перетворення прикордонних процесів, таких як ідентифікація, реєстрація та контроль пересування, на суто технічну процедуру, що робить цей процес більш справедливим і менш схильним до людських помилок. Алгоритмічна точність характеризується як засіб уникнення неетичних політичних упереджень і виправлення людських помилок.
Як дослідник науково-технічних основ високотехнологічного прикордонного апарату ЄС,2 я визнаю як зростаючу еластичність сучасних прикордонних практик, так і історично сформовану методологію його інструментів і практик.3
Взяти хоча б базу даних Eurodac, яка є наріжним каменем управління кордонами ЄС. Створена у 2003 році, база даних зберігає відбитки пальців шукачів притулку на виконання Дублінського регламенту про перший в'їзд.4 Відбитки пальців і реєстрація в сумісних базах даних також є центральними інструментами, що використовуються в останніх підходах до управління міграцією, таких як підхід "гарячих точок", де ідентифікація особи слугує засобом для фільтрації "гідних" мігрантів від "негідних".5
З роками тип даних, що зберігаються в Eurodac, та їхнє використання розширилися: сфера застосування розширилася до "ширших міграційних цілей", зберігаючи дані не лише про шукачів притулку, а й про нелегальних мігрантів для полегшення їхньої депортації. Нещодавно прийнята пропозиція додала до зняття відбитків пальців зображення обличчя та біографічну інформацію, включаючи ім'я, громадянство та паспортні дані. Крім того, мінімальний вік мігрантів, чиї дані можуть зберігатися, був знижений з чотирнадцяти до шести років.
З 2019 року Eurodac "інтероперабельна" з низкою інших баз даних ЄС, що зберігають інформацію про розшукуваних осіб, іноземних резидентів, власників віз та інших осіб, які становлять інтерес для органів кримінального правосуддя, імміграції та надання притулку, що ефективно пов'язує кримінальне правосуддя з міграцією, а також значно розширює доступ до цих даних. Eurodac відіграє ключову роль для європейських органів влади, про що свідчать зусилля, спрямовані на досягнення "100-відсоткового показника дактилоскопії": Європейська комісія закликала держави-члени реєструвати кожну новоприбулу особу в базі даних, із%20застосуванням%20фізичного%20примусу%20та%20затримання%20за%20необхідності.
Маркування злочинності
Альфонс Бертильйон був першим, хто вирішив цю проблему, поєднавши систематичні вимірювання людського тіла з архівуванням та веденням записів. Криміналіст покращив пошук записів, сортуючи записи за номерами, а не за алфавітом, створивши систему індексації, повністю засновану на антропоморфних вимірах. Картотеки були організовані відповідно до ієрархічної класифікаційної системи, де інформація спочатку поділялася за статтю, потім за довжиною голови, шириною голови, довжиною середнього пальця і так далі. Кожен набір вимірів був розділений на групи на основі статистичної оцінки їх розподілу серед населення, а середні значення встановлювалися шляхом зняття вимірів у засуджених. Оператор Bertillon брав профіль підозрюваного з архіву і шукав збіг за допомогою процесу виключення: спочатку виключаючи стать, яка не збігалася, потім довжину голови, яка не збігалася, і так далі. Якщо попередній збіг був знайдений, це підтверджувалося посиланням на тілесні ушкодження, також перераховані в картці. Скрізь, де була впроваджена ця система, показники розпізнавання "рецидивістів" різко зросли; система Бертілона незабаром поширилася по всьому світу.11
.
З появою Бертілона з'явилася ще одна ознака сучасної технології охорони кордонів і спостереження: кількісна оцінка, або те, що сьогодні називають "датафікацією". Бертильйон не лише вимірював зріст і довжину голови ув'язнених, але й винайшов метод перекладу характерних особливостей тіла в код. Наприклад, якщо у в'язня був шрам на передпліччі, попередні системи ідентифікації злочинців просто зазначали це у справі. На відміну від них, система Бертілона вимірювала відстань від певної точки відліку. Потім ці дані були записані в стандартизованій формі з використанням ідіоми скорочень і символів, які передавали ці описи в скороченому вигляді. Отриманий в результаті портрет parlé, або розмовний портрет, переписував фізичне тіло на "універсальну мову" "слів, чисел і закодованих абревіатур".12 Вперше в історії точний опис предмета міг бути переданий телеграфом.
Переклад тіла в код досі лежить в основі сучасних методів біометричної ідентифікації. Ідентифікація за відбитками пальців Системи, які вперше були випробувані і розгорнуті в колоніальній Індії, перетворювали візерунки папілярних гребенів в код, який потім можна було порівняти з іншими кодами, згенерованими таким же чином. Розпізнавання обличчя технологія створює схематичні зображення обличчя і присвоює йому числові значення, що дозволяє порівнювати і зіставляти. Інші форми біометричної ідентифікації, такі як голосова ідентифікація, сканування райдужної оболонки ока та розпізнавання ходи, працюють за тим самим принципом.
Від таксономії до машинного навчання
Крім кількісної оцінки, класифікація - ключовий інструмент генерації знань та управління протягом століть - є ще однією відмінною рисою сучасних і новітніх технологій спостереження та ідентифікації. Як зазначають багато вчених, від Фуко13 до Зигмунта Баумана14 і Деніз Феррейра да Сілва15 , класифікація є центральним інструментом європейського Просвітництва, про що найбільш знаково свідчить таксономія Карла Ліннея. У своїй градуйованій таблиці Лінней назвав, класифікував та ієрархічно впорядкував світ природи від рослин до комах і людини, розділивши та поділивши кожну групу відповідно до спільних характеристик. Класифікація і таксономії широко розглядаються як вираження фундаментальних епістемологічних зрушень від теоцентричної до раціоналістичної епістемології в ранньомодерну епоху, які уможливили наукові прориви, але також були пов'язані з колонізацією і поневоленням.
16 У своїй книзі на цю тему Джеффрі Боукер і Сьюзен Лі Стар підкреслюють використання класифікації як потужного, але часто невизнаного інструменту політичного впорядкування: "Політично і соціально заряджені порядки денні часто спочатку подаються як суто технічні, і їх важко навіть побачити. У міру того, як шари системи класифікації перетворюються на працюючу інфраструктуру, початкове політичне втручання стає все більш і більш міцно вкоріненим. У багатьох випадках це призводить до натуралізації політичної категорії через процес конвергенції. Вона стає само собою зрозумілою." 17
Сьогодні класифікація займає центральне місце в машинному навчанні - підгалузі штучного інтелекту, призначеній для розпізнавання закономірностей у великих обсягах даних. Це дозволяє йому не лише класифікувати величезні обсяги інформації, але й передбачати та класифікувати нові, раніше небачені дані. Іншими словами, він застосовує набуті знання до нових ситуацій. Хоча дослідження машинного навчання почалися ще в середині минулого століття, нещодавно воно набуло безпрецедентної популярності завдяки таким програмам, як ChatGPT.
Машинне навчання також все частіше застосовується в прикордонній роботі. Рідко використовуване як окрема технологія, воно широко розгортається в існуючих технологіях для покращення і прискорення давно встановлених форм спостереження, ідентифікації та сортування. Наприклад, алгоритмічне прогнозування, яке аналізує великі обсяги даних, включаючи моделі пересування, пости в соціальних мережах, політичні конфлікти, стихійні лиха тощо, все частіше замінює статистичне моделювання міграції з метою складання графіків міграційних моделей. Європейська Комісія наразі фінансує дослідження алгоритмічних методів, які розширять існуючі форми аналізу ризиків, спираючись на ширші джерела даних для виявлення нових форм "ризикованої" поведінки. Машинне навчання також випробовується або використовується в "детекторі брехні" прикордонників, розпізнаванні діалекту, відстеження та ідентифікація підозрілих суден, розпізнавання облич на внутрішніх кордонах ЄС та аналіз поведінки в'язнів у грецьких таборах. Як показує цей широкий спектр застосувань, здається, немає жодної прикордонної технології, яка б не підпадала під дію машинного навчання, чи то аналіз зображень, знятих дронами, чи то перевірка заяв про надання притулку.
Класифікація лежить в основі машинного навчання - або, принаймні, того типу машинного навчання на основі даних, який сьогодні став домінуючим. Окремі точки даних організовуються в категорії та підкатегорії, і цей процес здійснюється або через контрольоване, або через неконтрольоване навчання. У керованому навчанні навчальні дані позначаються відповідно до заздалегідь визначеної таксономії. На практиці це зазвичай означає, що люди присвоюють мітки таким даним, як "собака", зображенню цієї собаки. Модель машинного навчання навчається на цьому маркованому наборі даних, визначаючи закономірності, які корелюють з мітками. При неконтрольованому навчанні дані не маркуються людиною. Замість цього алгоритм самостійно визначає шаблони і структури в даних. Іншими словами, алгоритм класифікує дані, створюючи власні кластери на основі закономірностей, притаманних набору даних. Він створює власну таксономію категорій, яка може збігатися або не збігатися зі створеними людиною системами.
Передбачуваний тип злочинця
Як зазначає дослідниця ШІ та кордонів Луїза Амур (Louise Amoore), створення алгоритмічних кластерів як представлення вроджених, "природних" закономірностей на основі даних є "надзвичайно потужною політичною пропозицією", оскільки вона "пропонує обіцянку нейтрального, об'єктивного та вільного від цінностей формування та розмежування політичної спільноти".18 Ідея алгоритмічного кластеру як "природної спільноти" містить значний расистський хід: форми поведінки, пов'язаної з неврегульованою міграцією, відтепер називаються "ризикованими". Оскільки ці кластери формуються без прив'язки до заздалегідь визначених критеріїв, таких як "класичні" проксі-критерії раси, такі як національність або релігія, їх важко оскаржити за допомогою існуючих концепцій, таких як захищені характеристики або упередження.19 Наприклад, мігрант може бути ідентифікований як загроза безпеці алгоритмом машинного навчання на основі непрозорої кореляції між маршрутами подорожей, публікаціями в соціальних мережах, особистими та професійними мережами та погодними умовами.
Створення категорій відповідно до притаманних їм атрибутів перегукується з іншими практиками ХІХ століття, а саме з низкою наукових досліджень, що використовували вимірювання та статистику для виявлення закономірностей і шаблонів, які б вказували на злочинну поведінку. Подібно до неконтрольованого машинного навчання, краніометрія, френологія та кримінальна антропологія систематично накопичували дані про людей, щоб виявити закономірності, які можна було б відсортувати за категоріями злочинності.
Наприклад, такі френологи, як Франц Йозеф Галл, пов'язували специфічні риси особистості з особливостями розташування ділянок черепа. У суміжній галузі фізіогноміки такі діячі, як швейцарський пастор Йоганн Каспар Лаватер, систематично вивчали риси обличчя як орієнтир для злочинної поведінки. Завдяки розвитку фотографії, дослідження ознак злочинності на обличчі набули поширення, а засуджені та в'язні притулків неодноразово ставали об'єктами таких "досліджень". Прикладом можуть слугувати комбіновані фотографії Френсіса Гальтона, засновника руху євгеніки та піонера ідентифікації за відбитками пальців: зображення засуджених накладали одне на одне, щоб виявити закономірності як фізичні маркери злочинності.20
Кримінальна антропологія об'єднала ці підходи в послідовну спробу піддати тіло злочинця науковому вивченню. Під керівництвом італійського психіатра і антрополога Чезаре Ломброзо кримінальні антропологи використовували широкий спектр антропоморфних інструментів вимірювання, від точних вимірювань кінцівок Бертильона до краніометричних вимірювань черепа, картографування рис обличчя і відмічання характерних ознак, таких як шрами і татуювання. На цій основі вони склали список так званих "стигм" або фізичних закономірностей, які можна знайти в тілі "природженого злочинця". Хоча це поняття сьогодні широко дискредитоване, основний метод класифікації на основі масових даних все ще існує.
Довіра до висновків, зроблених на основі кількісного аналізу рис обличчя, залишається сильною спокусою. У статті 2016 року стверджується, що було успішно навчено алгоритм глибокої нейронної мережі прогнозувати злочинність на основі фотографій голови з водійських прав, а в дослідженні 2018 року робилися подібні заяви про зчитування сексуальної орієнтації з фотографій на сайтах знайомств.
Критично ставлячись до цих систем, необхідно пам'ятати про ширший політичний проект, який вони покликані підтримувати. Як пише дослідниця ШІ Кейт Кроуфорд: "Співвідношення морфології черепа з інтелектом і претензіями на юридичні права слугує технічним алібі для колоніалізму і рабства. Хоча існує тенденція зосереджуватися на помилках у вимірах черепа і способах їх виправлення, набагато більша помилка полягає у світогляді, що лежить в основі цієї методології. Тому метою має бути не заклик до більш точних або "справедливих" вимірювань черепа для підкріплення расистських моделей інтелекту, а засудження такого підходу в цілому." 21 Інакше кажучи, методи класифікації та кількісної оцінки не можуть бути відокремлені від соціально-політичних контекстів, які вони мають перевіряти і за які вони мають відповідати. Перефразовуючи дослідника міжнародних відносин Роберта Кокса, класифікація і кількісна оцінка завжди для когось і з якоюсь метою.22
Втім, як застерігає дослідниця науки і технологій Хельга Новотни, якщо ми "довіряємо" результатам алгоритмічного прогнозування як фундаментально вірним, ми неправильно розуміємо логіку роботи глибоких нейронних мереж. Ці мережі "можуть лише виявляти закономірності та ідентифікувати патерни на основі даних, які надходять з минулого. Ніяких причинно-наслідкових міркувань тут немає, і штучний інтелект не робить вигляд, що вони є." 23
Хоча ці машини можуть виробляти "практичні та вимірювані прогнози", вони не мають відчуття причин і наслідків - коротше кажучи, вони не мають "розуміння" в людському розумінні.24 Більше того, надмірна довіра до алгоритмів підштовхує нас до детермінізму, узгоджуючи нашу поведінку з машинним прогнозом замість альтернативних шляхів. Це проблема політичних культур, що ґрунтуються на підзвітності. Якщо ми хочемо вчитися на минулому, щоб будувати краще майбутнє, ми не можемо покладатися на прогнози моделі машинного навчання.
Ай дежавю
Існує багато ниток, окрім спільної і постійної залежності від кількісної оцінки і класифікації, за які можна потягнутись, щоб дослідити заплутану історію технологій спостереження та ідентифікації від ХІХ століття до сьогодення. Маргіналізовані, надлишкові групи населення, такі як засуджені та колонізовані народи, здавна використовувалися як "технологічні полігони" для відточування класифікаційних систем і тренування алгоритмів. Страх перед неконтрольованою мобільністю людини продовжує використовуватися як рушійна сила для досліджень і розробок, а технології, в свою чергу, застосовуються для вирішення проблем, які вони самі ж і створили. А позитивістські методи соціальних наук залишаються інструментом для перекладу ревучих множин в акуратні числові значення.
Замість того, щоб піддаватися на галас навколо ШІ, ми можемо налаштуватися на відчуття дежавю: тривожне відчуття, що ми вже бачили все це раніше. Таким чином, ми зможемо краще протистояти фантастичним заявам корпоративних і прикордонних акторів і почати відокремлювати технології від глобальних проектів панування.
**
Ця стаття базується на дослідженнях, проведених в рамках проекту "Еластичні кордони: Переосмислення кордонів 21-го століття" на базі Університету Грацу, за фінансової підтримки фонду NOMIS.
1 A. Bertillon, Instructons signalétiques, Melun, 1893, plate 16, p. 262.
2 Я входжу до групи дослідників у проекті "Еластичні кордони", що фінансується НОМІС; Проект "Еластичні кордони", Університет Граца, Австрія.
3 Див. також: M. Maguire, 'Biopower, Racialization and New Security Technology', Social Identities, Vol. 18, No.5, 2012, pp. 593-607; K. Donnelly, 'We Have Always Been Biased: Вимірювання людського тіла від антропометрії до обчислювальних соціальних наук", Public, Vol. 30, No. 60, 2020, pp. 20-33; A. Valdivia and M. Tazzioli, 'Genealogies beyond Algorithmic Fairness: Making up racialized subjects", в Proceedings of the 2023 ACM Conference on Fairness, Accountability, and Transparency, FAccT '23, Association for Computing Machinery, 2023, pp. 840-50.
.
4 Якщо відбитки були взяті в Греції, але шукача притулку пізніше затримали в Німеччині, він може бути висланий до Греції для розгляду його заяви.
5 B. Ayata, K. Cupers, C. Pagano, A. Fyssa and D. Alaa, Впровадження підходу ЄС "гарячих точок" в Греції та Італії: Порівняльний та міждисциплінарний аналіз (робочий документ), Швейцарська мережа міжнародних досліджень, 2021, с. 36.
6 J.B. Rule, Private Lives and Public Surveillance, Allen Lane, 1973.
7 Там само, с. 91.
8 M. Фуко, Суспільство треба захищати. Лекції у Колеж де Франс, 1975-76, пер. Д. Мейсі, Пікадор, 2003, с. 244.
9 S. A. Cole, Особистості підозрюваних: Історія дактилоскопії та кримінальної ідентифікації, Harvard University Press, 2001, p.12.
S. A. Cole, "Підозрювані особи: історія дактилоскопії та кримінальної ідентифікації", Harvard University Press, 2001, p.12.
10 Там само, с. 18-9.
11 Там само, с. 34-45.
12 Там само, с. 48.
13 M. Foucault, Порядок речей. Routledge, 1975.
14 Z. Bauman, Modernity and the Holocaust, Blackwell Publishers, 1989.
15 D. Ferreira da Silva, Toward a Global Idea of Race, University of Minnesota Press, 2007.
16 S. Wynter, 'Unsettling the coloniality of being/power/truth/freedom: Назустріч людині, після людини, її надмірна репрезентація - аргумент", CR: The New Centennial Review, Vol. 3, No. 3, 2003, pp. 257-337.
S. Wynter, 'Unsettling the coloniality of being/power/truth/freedom: Towards the human, after man, its overrepresentation - an argument'.
17 G. C. Bowker and S. L. Star, Розбираючи речі: Класифікація та її наслідки, MIT press, 2000, с. 196.
G. C. Bowker and L. Star, "Sorting out things: Classification and its consequences".
18 L. Amoore, 'The deep border', Political Geography, 2001, 102547.
19 Там само.
20 Галтон провів подібне дослідження на єврейських школярах, шукаючи расові маркери єврейства.
.
21 K. Crawford, Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence, Yale University Press, 2021, pp. 126-7.
22 R. W. Cox, 'Social Forces, States and World Orders: Beyond International Relations Theory', Millennium, Vol. 10, No. 2, 1981, pp. 126-155.
Р. В. Кокс, "Соціальні сили, держави і світові порядки: поза теорією міжнародних відносин
23 Н. Новотний, У ШІ ми віримо: потужність, ілюзія та контроль предиктивних алгоритмів. Поліс, 2021, с. 22.
24 Там само.
