Алгоритми розпізнавання обличчя зазвичай тестуються з використанням білих облич, що призводить до того, що технологія не може розрізнити расистів. (Шаттерсткі)
Поліція Детройту незаконно заарештувала Роберта Джуліана-Борчака Вільямса у січні 2020 року за інцидент з крадіжкою, що стався двома роками раніше. Навіть незважаючи на те, що Вільямс не мав нічого спільного з інцидентом, технологія розпізнавання облич, що використовується поліцією штату Мічиган, «поєднувала» його обличчя із зернистим зображенням, отриманим із відеоспостереження в магазині, на якому інший афроамериканець бере годинники вартістю 3,800 доларів США.
Через два тижні справу було припинено на вимогу сторони обвинувачення. Однак, спираючись на несправний матч, поліція вже наклала наручники і заарештувала Вільямса на очах у його сім’ї, змусила його надати постріл з гуртки, відбитки пальців та зразок його ДНК, допитала і ув’язнила на ніч.
Експерти припускають, що Вільямс не самотній, а інші зазнали подібної несправедливості. Постійні суперечки щодо використання Clearview AI у міліції, безперечно, підкреслюють ризики конфіденційності, які створює технологія розпізнавання обличчя. Але важливо це усвідомлювати не всі ми однаково несемо ці ризики.
Навчання расистським алгоритмам
Технологія розпізнавання осіб треновані на кавказьких обличчях і налаштовані на них систематично неправильно ідентифікує та неправильно позначає расизованих осіб: численні дослідження повідомляють, що технологія розпізнавання облич є «недосконалий та упереджений, із значно вищим рівнем помилок при використанні проти кольорових людей».
це підриває індивідуальність і людяність расових осіб яких частіше ідентифікують як злочинців. Технологія - і помилки ідентифікації, які вона робить - відображає і закріплює давні соціальні розбіжності, глибоко заплутані расизмом, сексизмом, гомофобією, поселенцем-колоніалізмом та іншими пересічними гнобленнями.
{vembed Y = vSuDE6wvQlU}
Розслідування France24 щодо расової упередженості в технології розпізнавання облич.
Як технологія класифікує користувачів
У своїй книзі про зміну гри 1993 року, Паноптична сорт, вчений Оскар Ганді попередив, що «складна технологія [яка] передбачає збір, обробку та обмін інформацією про людей та групи, яка формується в їх повсякденному житті…, використовується для координації та контролю їх доступу до товарів та послуг, що визначають життя в сучасна капіталістична економіка ". Правоохоронні органи використовують його, щоб вирвати підозрюваних із загальної публіки, а приватні організації використовують, щоб визначити, чи маємо ми доступ до таких речей банківських та зайнятість.
Ndyенді пророчо попередив, що, якщо його не контролювати, ця форма «кібернетичного сортування» буде експоненціально неблагополучною представниками спільнот, які прагнуть до рівності-наприклад, груп, які є расизованими чи соціально-економічно неблагополучними-як з точки зору того, що їм буде надано, так і як вони можуть зрозуміти себе.
Приблизно через 25 років ми зараз живемо з паноптичними засобами на основі стероїдів. Прикладів його негативного впливу на спільноти, що прагнуть до рівності, чимало, наприклад, хибна ідентифікація Вільямса.
Існуюча упередженість
Це сортування з використанням алгоритмів проникає в найбільш фундаментальні аспекти повсякденного життя, спричиняючи як пряме, так і структурне насильство.
Пряме насильство, яке зазнав Вільямс, одразу видно з подій, пов'язаних з його арештом та затриманням, а індивідуальна шкода, яку він зазнав, очевидна і може бути простежена до дій поліції, яка вирішила спиратися на «відповідність» технології. Більш підступним є структурне насильство скоєні за допомогою технології розпізнавання осіб та інші цифрові технології порівнювати, класифікувати та сортувати осіб таким чином, щоб вони збільшували існуючі дискримінаційні моделі.
Шкода структурного насильства менш очевидна і менш пряма і завдає шкоди групам, що прагнуть до рівності, шляхом систематичного заперечення влади, ресурсів та можливостей. Одночасно це збільшує прямий ризик та шкоду для окремих представників цих груп.
Інтелектуальне використання поліцейських алгоритмічна обробка історичних даних для передбачення того, коли і де можуть відбутися нові злочини, відповідно виділяє поліцейські ресурси та вбудовує посилений нагляд поліції у громади, як правило, в кварталах з низьким рівнем доходу та расизованих районах. Це збільшує шанси на виявлення та покарання будь-якої злочинної діяльності, включаючи менш серйозну злочинну діяльність, яка в іншому випадку може не спричинити реакції поліції, що в кінцевому рахунку обмежує життєві шанси людей, які живуть у цьому середовищі.
І докази несправедливості в інших секторах продовжують наростати. Сотні студентів у Великобританії 16 серпня протестував проти катастрофічних результатів Нерівний, хибний алгоритм, який уряд Великобританії використовував для визначення студентів, які мають право вступати до університету. У 2019 році рекламна служба мікроцільового націлювання Facebook допомогла десяткам роботодавців державного та приватного секторів заборонити людям отримувати оголошення про роботу за віком та статтю. Дослідження, проведене компанією ProPublica, задокументовано цінова дискримінація на основі раси для продуктів в Інтернеті. А пошукові системи регулярно видають расистські та сексистські результати.
Увічнення гніту
Ці результати мають значення, оскільки вони укріплюють і поглиблюють існуючу нерівність на основі таких характеристик, як раса, стать та вік. Вони також важливі, тому що вони глибоко впливають на те, як ми пізнаємо себе та світ навколо нас, іноді попередній відбір інформації ми отримуємо такі способи, які підсилюють стереотипні уявлення. Навіть самі технологічні компанії визнають це терміновість припинення алгоритмів увічнення дискримінації.
На сьогоднішній день успіх спеціальних розслідувань, проведених самими технологічними компаніями, був непослідовним. Іноді корпорації, які беруть участь у виробництві дискримінаційних систем, вилучають їх з ринку, наприклад, коли Компанія Clearview AI оголосила, що більше не буде пропонувати технологію розпізнавання осіб у Канаді. Але часто такі рішення є результатом лише регуляторного контролю або протесту громадськості після члени громад, що прагнуть рівності, вже постраждали.
Настав час надати нашим регулюючим установам необхідні інструменти для вирішення проблеми. Прості засоби захисту конфіденційності, які залежать від отримання індивідуальної згоди, щоб дозволити компаніям збирати та перепризначати дані, не можуть бути відокремлені від дискримінаційних результатів такого використання. Це особливо вірно в епоху, коли більшість із нас (включаючи самі технологічні компанії) не може повністю зрозуміти, що роблять алгоритми або чому вони дають конкретні результати.
Конфіденційність - це право людини
Частина рішення передбачає розбиття діючих регуляторних баз, які розглядають конфіденційність та права людини як окремі питання. Спираючись на модель захисту даних на основі згоди, ми стикаємось з основним принципом, згідно з яким конфіденційність та рівність - це права людини, які не можна відмовитись.
Навіть Цифрова хартія Канади - остання спроба федерального уряду реагувати на недоліки сучасного стану цифрового середовища - підтримує ці концептуальні відмінності. Він розглядає ненависть та екстремізм, контроль та згоду та сильну демократію як окремі категорії.
Щоб подолати алгоритмічну дискримінацію, ми повинні визнати та визначити як конфіденційність та рівність як права людини. І ми повинні створити інфраструктуру, яка буде однаково уважною та експертною в обох питаннях. Без таких зусиль глянцевий блиск математики та науки продовжуватиме маскувати дискримінаційні упередження ШІ, і можна очікувати, що такі розслідування, як те, що нанесено Вільямсу, будуть множитися.
Про авторів
Джейн Бейлі, професор права та спів-керівник проекту eQuality, L'U Universalité d'Otawa / Університет Оттави; Жаклін Беркелл, заступник віце-президента з досліджень, Західний університетта Валері Стівз, професор, L'U Universalité d'Otawa / Університет Оттави
Ця стаття перевидана з Бесіда за ліцензією Creative Commons. Читати оригінал статті.
Книги про нерівність зі списку бестселерів Amazon
«Каста: походження нашого невдоволення»
Ізабель Вілкерсон
У цій книзі Ізабель Вілкерсон досліджує історію кастових систем у суспільствах по всьому світу, включно зі Сполученими Штатами. У книзі досліджується вплив касти на людину та суспільство, а також пропонується основа для розуміння та подолання нерівності.
Натисніть, щоб дізнатися більше або замовити
«Колір закону: забута історія того, як наш уряд розділив Америку»
Річард Ротштейн
У цій книзі Річард Ротштейн досліджує історію урядової політики, яка створила та зміцнила расову сегрегацію в Сполучених Штатах. У книзі досліджується вплив цієї політики на окремих осіб і громади та пропонується заклик до дій для подолання нерівності, що триває.
Натисніть, щоб дізнатися більше або замовити
«Сума з нас: скільки расизм коштує всім і як ми можемо процвітати разом»
від Хізер МакГі
У цій книзі Хізер МакГі досліджує економічні та соціальні витрати расизму та пропонує бачення більш справедливого та процвітаючого суспільства. Книга містить історії окремих людей і спільнот, які кинули виклик нерівності, а також практичні рішення для створення більш інклюзивного суспільства.
Натисніть, щоб дізнатися більше або замовити
«Міф про дефіцит: сучасна монетарна теорія та зародження народної економіки»
Стефані Келтон
У цій книзі Стефані Келтон кидає виклик загальноприйнятим уявленням про державні витрати та національний дефіцит і пропонує нову основу для розуміння економічної політики. Книга містить практичні рішення щодо подолання нерівності та створення більш справедливої економіки.
Натисніть, щоб дізнатися більше або замовити
«Новий Джим Кроу: Масове ув’язнення в епоху дальтонізму»
Мішель Олександр
У цій книзі Мішель Александер досліджує способи, якими система кримінального правосуддя увічнює расову нерівність і дискримінацію, особливо проти чорношкірих американців. Книга містить історичний аналіз системи та її впливу, а також заклик до дій щодо реформ.
