У системах кримінального правосуддя, кредитних ринках, аренах зайнятості, процесах прийому до вищої освіти і навіть мережі соціальних медіа, алгоритми на основі даних тепер керуйте прийняттям рішень таким чином, що стосується нашого економічного, соціального та громадянського життя. Ці програмні системи класифікують, класифікують, асоціюють або фільтрують інформацію, використовуючи створені людиною або створені даними правила, що дозволяють послідовно обробляти великі групи населення.

Але хоча ці методи можуть мати вищі результати, вони також можуть мати місце упередження щодо гавань щодо груп, що знаходяться в неблагополучному положенні or посилити структурну дискримінацію. Наприклад, з точки зору кримінального правосуддя, чи справедливо виносити рішення щодо умовно-дострокового звільнення на основі статистичних тенденцій, виміряних серед широкої групи людей? Чи може дискримінація виникнути в результаті застосування статистичної моделі розроблені для населення однієї держави до іншої, демографічно відрізняється населення?

Громадськість повинна розуміти упередженість та силу алгоритмів, що використовуються у публічній сфері, в тому числі державними органами. Зусилля, з яким я беру участь, закликав алгоритмічна підзвітність, прагне зробити вплив таких систем більш чіткими та більш широко зрозумілими.

Існуючі методи прозорості, якщо їх застосовувати до алгоритмів, могли б дозволити людям відстежувати, перевіряти та критикувати функціонування цих систем - чи ні, залежно від випадку. На жаль, державні органи здаються непідготовленими до запитів про алгоритми та їх використання у прийнятті рішень, які суттєво впливають як на окремих людей, так і на громадськість в цілому.

Відкриття алгоритмів для загального контролю

Минулого року федеральний уряд почав вивчати плюси і мінуси використання комп'ютеризованого аналізу даних, щоб допомогти визначити ймовірність повторних злочинів ув'язнених після звільнення. Оцінка осіб із низьким, середнім або високим ризиком може допомогти у прийнятті рішень про житло та лікування, визначивши людей, яких можна безпечно відправити до в'язниці мінімального рівня безпеки або навіть до "напівдороги", або яким би вигідний певний тип психологічна допомога.

Ця інформація може зробити судовий процес більш ефективним та менш дорогим і навіть зменшити натовп людей. Показано, що ставлення до правопорушників з низьким ризиком, як до правопорушників із високим ризиком в деяких дослідженнях призвести до того, що вони перебувають у складі “хворого” злочинця і потребують лікування за свою девіантну поведінку. Таким чином, їх розділення може зменшити розвиток негативної поведінки, яка призводить до рецидиву після звільнення.

Дані та алгоритми оцінки ризику повторного злочину в’язнів уже є широко використовується державами за управління досудовим ув'язненням, умовним покаранням, умовно-достроковим звільненням і навіть вироком. Але вони легко залишаються непоміченими - вони часто виглядають як невибагливі бюрократичні документи.

Зазвичай алгоритми зводяться до спрощених таблиць рахунків, які заповнюються державними службовцями з незначним розумінням основних розрахунків. Наприклад, працівник справи може оцінити ув'язненого, використовуючи форму, в якій працівник справи зазначає, що в'язень був засуджений за насильницький злочин, був молодим на момент першого арешту і не закінчив середньої школи або не отримав GED. Ці фактори та інші характеристики, пов’язані з особою та злочином, дають оцінку, яка вказує на те, чи може ув'язнений мати право на перегляд за умови умовно-дострокового звільнення.

Сама форма, як і її бальна система, часто розкриває ключові особливості алгоритму, такі як розглянуті змінні та те, як вони поєднуються для формування загальної оцінки ризику. Але для алгоритмічної прозорості також важливо знати, як такі форми розроблялись, розроблялись та оцінювались. Тільки тоді громадськість може дізнатися, чи є чинники та обчислення, які беруть участь у визначенні оцінки, справедливими та обґрунтованими, чи неінформованими та упередженими.

Використання Закону про свободу інформації

Нашим основним інструментом отримання цих форм та допоміжних матеріалів є закон, а саме закони про свободу інформації. Вони є одними з найпотужніших механізмів, якими користується громадськість для забезпечення прозорості уряду. На федеральному рівні Закон про свободу інформації (FOIA) дозволяє громадськості офіційно запитувати - і розраховувати отримати взамін - документи від федерального уряду. Існують аналогічні статути для кожної держави.

Запроваджена в 1966 році, FOIA була створена до широкого використання обчислювальної техніки, і задовго до того, як великі масиви даних регулярно використовувались в програмних системах для управління людьми та прогнозування. Було деякі початкові дослідження про те, чи здатний FOIA сприяти розкриттю вихідного коду програмного забезпечення. Але залишається питання про те, чи відповідають чинні закони потребам громадськості 21 століття: чи можемо ми алгоритми FOIA?

Тематичне дослідження прозорості алгоритмів

Я вирішив відповісти на це питання на Коледж журналістики імені Філіпа Меррілла в Університеті штату Меріленд, де я є доцентом. Восени 2015 року, працюючи з курсом правознавства з мого колеги Сенді Баніскі, ми скерували студентів до подання запитів FOIA до кожного з 50 штатів. Ми попросили документи, математичні описи, дані, оцінки валідації, контракти та вихідний код, що стосуються алгоритмів, що використовуються в кримінальному судочинстві, таких як рішення про умовно-дострокове звільнення від відбування покарання та випробувальний термін, заставу чи вирок.

Як семестровий проект, зусилля були обов'язково обмежені часом, з великою кількістю перешкод і відносно невеликим успіхом. Як і у багатьох розслідуваннях журналістів, навіть з’ясувати, кого запитати - і як - було проблемою. Різні відомства можуть нести відповідальність за різні сфери кримінально-правової системи (призначення покарання може здійснюватись судом, але управління умовно-достроковим звільненням здійснюється Департаментом виконання покарань).

Навіть визначивши потрібну людину, студенти виявили, що урядовці використовують іншу термінологію, що ускладнює передачу потрібної інформації. Іноді студентам доводилося багато працювати, щоб пояснити “алгоритми кримінального судочинства” не надто підкованому державному службовцю. Ретроспективно, можливо, було б ефективніше запитати про «інструменти оцінки ризику», оскільки цей термін часто використовується урядами штатів.

Обробка відповідей

Деякі штати, такі як Колорадо, рішуче відхилили наш запит, заявивши, що алгоритми містяться в програмному забезпеченні, яке не вважається "документом", згідно з яким відкриті державні закони вимагають від чиновників оприлюднення. У різних штатах існують різні правила щодо розкриття інформації про використання програмного забезпечення. Це іноді з’являлось у судах, наприклад, 2004 року позов проти міста Детройт щодо того, чи слід оприлюднювати формулу розрахунку плати за воду, яка стягується із сусіднього міста.

Нашими власними зусиллями ми отримали лише один математичний опис алгоритму кримінального правосуддя: Орегон розкрив 16 змінних та їх ваги у моделі, яка використовується там для прогнозування рецидиву злочинів. Штат Північна Дакота оприлюднив електронну таблицю Excel, яка показує рівняння, що використовується для визначення дат, коли ув'язнені можуть мати право на умовно-дострокове звільнення. З Айдахо та Нью-Мексико ми отримали документи з деякими описами оцінок ризику рецидиву, які використовували ці держави, але відсутні подробиці про те, як вони були розроблені або підтверджені.

Дев'ять штатів засновували свою відмову розголошувати деталі щодо своїх алгоритмів кримінального судочинства на твердженні, що ця інформація дійсно належить компанії. Це означає, що випуск алгоритму зашкодить фірмі, яка його розробила. Загальна анкета ризику рецидиву, називається LSI-R, виявляється комерційним продуктом, захищеним авторським правом. Такі держави, як Гаваї та Мен, стверджували, що перешкоджали його розголошенню громадськості.

Луїзіана заявила, що його контракт із розробником нової методики оцінки ризиків заборонив випуск запитуваної інформації на шість місяців. Штат Кентуккі цитував свій контракт з благодійний фонд в якості причини він не міг розкрити більше деталей. Побоювання щодо власної інформації можуть бути законними, але з огляду на те, що уряд регулярно укладає контракти з приватними компаніями, як ми можемо збалансувати ці занепокоєння проти пояснюваної та справді законної системи правосуддя?

Вдосконалення

Настільки необхідна реформа закону про свободу закону в даний час знаходиться на розгляді конгресом. Це надає можливість модернізувати закон, але запропоновані зміни все ще мало сприяють зростаючому використанню алгоритмів в уряді. Інформація про алгоритмічну прозорість може бути кодифікована у звіти, які уряд формує та публікує на регулярній основі, як частина звичайного бізнесу.

Як суспільство, ми повинні вимагати, щоб працівники державної інформації були навчені таким чином, щоб вони були грамотними і дійсно вільно володіли термінологією, з якою вони можуть зіткнутися, коли громадськість просить алгоритми. Федеральний уряд може навіть створити нову посаду для "царя алгоритмів", омбудсмена, завданням якого було б спілкуватися та проводити запити щодо автоматизації уряду.

Жоден з документів, які ми отримали в ході нашого дослідження, не розповідав нам, як розроблялися та оцінювались форми оцінки ризиків кримінального судочинства. Оскільки алгоритми керують дедалі більшим нашим життям, громадяни потребують - і повинні вимагати - більшої прозорості.

про автора

Ніколас Діакопулос, науковий співробітник Центру цифрової журналістики Колумбійського університету; Доцент кафедри журналістики Університету штату Меріленд. Його дослідження займаються обчислювальною та інформаційною журналістикою з акцентом на алгоритмічну підзвітність, візуалізацію наративних даних та соціальні обчислення в новинах.

Ця стаття була спочатку опублікована на Бесіда. Читати оригінал статті.

Суміжні книги

at InnerSelf Market і Amazon