Нещодавно почали пропонувати Amazon доставка в один день в окремих столичних районах. Це може бути добре для багатьох клієнтів, але розгортання показує, як комп'ютеризоване прийняття рішень також може доставити значну дозу дискримінації.

Разумно, компанія почала своє обслуговування в районах, де витрати на доставку були б найнижчими, визначивши поштові індекси густонаселених місць, де проживають багато існуючих клієнтів Amazon з достатнім рівнем доходу, щоб зробити часті покупки продуктів доступними для доставки в той же день. Компанія надала веб-сторінку, що дозволяє клієнтам ввести свій поштовий індекс, щоб перевірити, чи обслуговує їх доставка в той же день. Журналісти -розслідувачі Bloomberg News використовували цю сторінку для створити карти зони обслуговування Amazon для доставки в той же день.

Аналіз Bloomberg показав, що багато бідних міських районів були виключені із зони обслуговування, тоді як були включені більш багаті сусідні райони. Багато з цих виключених бідних районів переважно були заселені меншинами. Наприклад, весь Бостон був охоплений, крім Роксбері; Покриття Нью -Йорка включало майже всі чотири райони, але повністю виключало Бронкс; Покриття Чикаго пропустило збіднілу Південну сторону, істотно поширившись на багаті північні та західні околиці.

Хоча є спокуса вважати, що рішення, орієнтовані на дані, є неупередженими, дослідження та наукове обговорення починають це демонструвати несправедливість і дискримінація залишаються. В моєму онлайн -курс з етики даних, учні цього вчаться алгоритми можуть розрізняти. Але може бути трохи срібної підкладки: Як показує дослідження Bloomberg, прийняття рішень на основі даних також може спростити виявлення, коли виникають упередження.

Упередження може бути ненавмисним

Така несправедливість у політиці доставки Amazon може виникнути з багатьох причин, у тому числі приховані упередження - наприклад, припущення, що популяції розподілені рівномірно. Дизайнери алгоритмів, швидше за все, не мають наміру дискримінувати і навіть не усвідомлюють, що проблема підкралася.

Amazon повідомив Bloomberg, що не має дискримінаційних намірів, і є всі підстави вважати це твердження. У відповідь на звіт Bloomberg, місто чиновників та інші політики закликав Amazon вирішити цю проблему. Компанія швидко перемістився, щоб додати спочатку виключені погані міські поштові індекси в зону обслуговування.

Було подібне питання - запитав Uber, який, здається, забезпечує кращі послуги для районів, де проживає більша частина білих людей. Цілком ймовірно, що в майбутньому буде виявлено більше прикладів ненавмисної алгоритмічної дискримінації в галузі роздрібної торгівлі та сфери послуг.

Забагато запитуєте про алгоритми?

Ми повинні зупинитися на хвилинку, щоб подумати, чи не надто вимогливі ми до алгоритмічних рішень. Компанії, що працюють у цегельних цехах, постійно приймають рішення про місцезнаходження, беручи до уваги критерії, які не так відрізняються від Amazon. Магазини намагаються знайти місця, зручні для великої кількості потенційних клієнтів, які мають гроші.

Як наслідок, небагато магазинів вирішують розміститися в бідних міських кварталах. Зокрема, в контексті продуктових магазинів, це явище широко вивчалося, і термін «їжа пустеля”Використовується для опису міських територій, мешканці яких не мають зручного доступу до свіжих продуктів. Це зміщення розташування в цілому менш вивчений для роздрібних магазинів.

Як показовий приклад, я подивився на 55 мічиганських місць Target, великої всеосяжної роздрібної мережі. Коли я відсортував кожен поштовий індекс штату Мічиган, виходячи з того, чи був його середній дохід у верхній половині чи нижній половині штату, я виявив, що лише 16 із цільових магазинів (29 відсотків) були у поштових індексах із групи з нижчим рівнем доходу. Більш ніж удвічі більше, 39 магазинів, було розміщено у поштових індексах із більш заможної половини.

Виявлення дискримінації

Більше того, у місті Детройт немає магазинів Target, хоча є декілька у його (заможніших) передмістях. Тим не менш, не було народного протесту, який стверджував, що Target несправедливо дискримінує бідних людей у ​​прийнятті рішень щодо розташування магазину. Існує дві основні причини, по яких побоювання щодо Amazon є виправданими: жорсткість і домінування.

Жорсткість пов'язана як з процесами прийняття рішень інтернет-магазином, так і з результатом. Amazon вирішує, які поштові індекси знаходяться в зоні обслуговування. Якщо клієнт проживає через дорогу від кордону, встановленого Amazon, він знаходиться поза зоною обслуговування і не може з цим нічого зробити. Навпаки, хтось, хто живе у поштовому індексі без магазину Target, все ще може робити покупки в Target - хоча це може зайняти більше часу.

Також має значення, наскільки домінуючий роздрібний продавець у свідомості споживачів. Хоча Target - лише одна з багатьох мереж фізичних магазинів, Amazon користується цим домінування на ринку як веб -рітейлер, а отже, привертає більше уваги. Таке панування є характеристикою сьогодення переможець-приймає всіх веб -бізнесу.

Хоча їх жорсткість та домінування можуть викликати у нас більшу стурбованість щодо онлайн-бізнесу, ми також краще виявляємо їхню дискримінацію, ніж у магазинах з виробництва цегли. Для традиційного мережевого магазину нам потрібно здогадатися, наскільки далеко споживачі готові подорожувати. Нам також може знати час: П’ять миль до наступного виїзду з автостради - це не те саме, що п’ять миль через перевантажені вулиці на інший кінець міста. Крім того, сам час у дорозі може сильно варіюватися залежно від часу доби. Після визначення ймовірних районів, які обслуговує магазин, вони не можуть чітко зіставити географічні одиниці, для яких ми маємо статистику про расу чи дохід. Одним словом, аналіз брудний і вимагає багато зусиль.

Навпаки, журналістам у Bloomberg знадобилося б лише кілька годин, щоб розробити карту зони обслуговування Amazon і співвіднести її з доходом чи расою. Якби Amazon зробив це внутрішньо, вони могли б провести той самий аналіз за лічені хвилини-і, можливо, помітили б проблеми та усунули їх ще до того, як почалося обслуговування в той же день.

Як порівнюють люди?

Давайте подивимось на зовсім інший приклад, щоб побачити, як однакові положення застосовуються в широкому сенсі. Нещодавно вийшла публікація ProPublica чудовий аналіз расової дискримінації за алгоритмом, який передбачає ймовірність злочинця знову вчинити злочин. Алгоритм враховує десятки факторів і обчислює оцінку ймовірності. Аналіз ProPublica виявив значний систематичний расовий ухил, навіть незважаючи на те, що раса не входить до числа розглянутих конкретних факторів.

Без алгоритму людський суддя зробив би подібну оцінку як частину рішення про вирок або умовно -дострокове звільнення. Людське рішення могло б враховувати більш багатий набір факторів, таких як поведінка залу суду. Але ми знаємо, від вивчення психології, Що прийняття людських рішень наповнене упередженістю, навіть коли ми намагаємось бути справедливими.

Але будь -які помилки, які є результатом упередженості у прийнятті суддями рішень, ймовірно, будуть різними між суддями, і навіть для різних рішень, прийнятих одним і тим же суддею. У сукупності може існувати расова дискримінація через підсвідоме упередження, але остаточно встановити це складно. Дослідження Міністерства юстиції США виявило вагомі докази розбіжності у винесенні покарання білим і чорним засудженим, але не міг чітко визначити, чи сама раса була чинником у цих рішеннях.

На відміну від цього, той самий алгоритм, який розглянув ProPublica, використовується в тисячах випадків у багатьох штатах. Його жорсткість та великий обсяг полегшують роботу щодо визначення того, чи дискримінує він, - і можуть запропонувати способи ефективного виправлення проблеми.

Використання інформаційних технологій, здається, робить рядки яскравішими, відмінності більш яскравими і дані про все це набагато легше доступні. Те, що вчора можна було почистити під килим, зараз вимагає уваги. Оскільки ми все частіше використовуємо алгоритми, керовані даними, аналіз їх чесності ще не є поширеним, особливо перед впровадженням нової послуги на основі даних. Зробивши це, значною мірою допоможе виміряти та покращити справедливість цих все більш важливих комп’ютеризованих розрахунків.

про автора

HV Jagadish, професор кафедри електротехніки та інформатики Бернард Галлер, Мічиганський університет

Ця стаття була спочатку опублікована на Бесіда. Читати оригінал статті.

Суміжні книги

at InnerSelf Market і Amazon