Люди, які подають заявку на позику в банку або компанії, що видає кредитні картки, і їм відмовляють, зобов’язані пояснити, чому це сталося. Це гарна ідея - адже це може допомогти навчити людей відновлювати пошкоджений кредит - і це федеральний закон Закон про рівні можливості кредитування. Отримати відповідь не було великою проблемою в минулі роки, коли люди приймали такі рішення. Але сьогодні, коли системи штучного інтелекту дедалі більше допомагають або замінюють людей, які приймають кредитні рішення, отримати ці пояснення стало набагато складніше.

Традиційно кредитний співробітник, який відхилив заявку, міг би повідомити потенційному позичальнику, що існує проблема з рівнем доходу, стажем зайнятості, або яким би не було питання. Але комп'ютеризовані системи, що використовують складні навчання за допомогою машини моделі важко пояснити навіть для експертів.

Рішення щодо споживчих кредитів - це лише один із способів виникнення цієї проблеми. Подібні проблеми існують в Росії охорона здоров'я, Інтернет-маркетинг і навіть кримінальне судочинство. Мій власний інтерес до цієї сфери почався, коли була виявлена ​​дослідницька група, в якій я був частиною ґендерне упередження в тому, як націлено рекламу в Інтернеті, але не міг пояснити, чому це сталося.

У всіх цих галузей та багатьох інших, які використовують машинне навчання для аналізу процесів та прийняття рішень, є трохи більше року, щоб набагато краще пояснити, як працюють їх системи. У травні 2018 року новий Загальний регламент Європейського Союзу про захист даних набуває чинності, включаючи розділ, що дає людям право отримувати пояснення щодо автоматизованих рішень, що впливають на їхнє життя. Якої форми повинні мати ці пояснення, і чи можемо ми насправді надати їх?

Визначення ключових причин

Одним із способів описати, чому автоматизоване рішення вийшло так, як це було, є визначення факторів, які найбільше вплинули на рішення. Наскільки рішення про відмову в кредиті було пов’язано з тим, що заявник не заробляв достатньо грошей, або тому, що раніше не повертав позики?

Моя дослідницька група в Університеті Карнегі Меллона, включаючи аспіранта Шаяка Сена та тодішнього доктора Яіра Зіка, створила спосіб виміряти відносний вплив кожного фактора. Ми називаємо це кількісним вхідним впливом.

На додаток до кращого розуміння окремого рішення, вимірювання може також пролити світло на групу рішень: Чи алгоритм відмовляв у кредиті в першу чергу через фінансові проблеми, наприклад, скільки заявник вже заборгував за іншими боргами? Або поштовий індекс заявника був важливішим - пропонуючи більш основні демографічні показники, такі як раса, можливо, увійшли в дію?

Вловлювання причинних причин

Коли система приймає рішення на основі багатьох факторів, важливо визначити, які фактори спричиняють рішення, та їх відносний внесок.

Наприклад, уявіть систему прийняття рішень щодо кредитування, яка бере лише два вхідні дані: співвідношення боргу до доходу та її расу, і було показано, що вона затверджує позики лише для кавказців. Знання того, наскільки кожен фактор сприяв прийняттю рішення, може допомогти нам зрозуміти, чи є це законною системою чи дискримінацією.

Пояснення може просто поглянути на вхідні дані та результати та спостерігати кореляцію - нековказці не отримували позик. Але це пояснення занадто спрощене. Припустимо, що нековказці, яким відмовляли в позиках, також мали набагато нижчі доходи, ніж ті кавказці, заявки яких були успішними. Тоді це пояснення не може сказати нам, чи спричинили відмови заявники раса чи співвідношення боргу до доходу.

Наш метод може надати цю інформацію. Виявлення різниці означає, що ми можемо розібратися, чи система несправедливо дискримінує, чи розглядає законні критерії, такі як фінанси заявників.

Щоб виміряти вплив раси на конкретне кредитне рішення, ми повторюємо процес подання заявки, зберігаючи співвідношення боргу до доходу незмінним, але змінюючи расу заявника. Якщо зміна раси впливає на результат, ми знаємо, що раса є вирішальним фактором. Якщо ні, ми можемо зробити висновок, що алгоритм розглядає лише фінансову інформацію.

На додаток до виявлення факторів, які є причинами, ми можемо виміряти їх відносний причинно-наслідковий вплив на рішення. Ми робимо це шляхом випадкового варіювання фактора (наприклад, раси) та вимірювання того, наскільки ймовірно, що результат зміниться. Чим вище ймовірність, тим більший вплив фактора.

Сукупний вплив

Наш метод також може включати безліч факторів, які працюють разом. Розглянемо систему прийняття рішень, яка надає кредит заявникам, які відповідають двом із трьох критеріїв: кредитний бал понад 600, право власності на автомобіль та чи повністю заявник погасив житлову позику. Скажімо, заявниці Алісі, яка має кредитний рейтинг 730 і не має авто чи житлової позики, відмовляють у кредиті. Вона задається питанням, чи є її власність автомобілем чи історія погашення житлової позики основною причиною.

Аналогія може допомогти пояснити, як ми аналізуємо цю ситуацію. Розглянемо суд, де рішення приймаються більшістю голосів колегії з трьох суддів, де один - консерватор, другий - ліберал, а третій - безперешкодний голос - хтось, хто може стати на бік когось із її колег. У консервативному рішенні 2-1 суддя гойдалки мав більший вплив на результат, ніж ліберальний суддя.

Фактори нашого кредитного прикладу схожі на трьох суддів. Перший суддя зазвичай голосує за позику, оскільки багато заявників мають досить високий кредитний бал. Другий суддя майже завжди голосує проти позики, оскільки дуже мало заявників коли-небудь розплачувалися за житло. Тож рішення зводиться до судді-гойдалки, який у випадку Аліси відхиляє позику, оскільки вона не є власником автомобіля.

Ми можемо зробити ці міркування саме за допомогою теорія кооперативних ігор, система більш конкретного аналізу того, як різні фактори сприяють одному результату. Зокрема, ми поєднуємо наші виміри відносного причинного впливу з Значення Шаплі, що є способом обчислення, як віднести вплив до багатьох факторів. Разом вони формують наше кількісне вимірювання впливу.

Наразі ми оцінили наші методи в системах прийняття рішень, які ми створили, навчаючи загальні алгоритми машинного навчання з реальними наборами даних. Оцінка алгоритмів на роботі в реальному світі є темою для майбутньої роботи.

Відкритий виклик

Наш метод аналізу та пояснення того, як алгоритми приймають рішення, є найбільш корисним у тих умовах, коли люди легко розуміють такі фактори, як співвідношення боргу до доходу та інші фінансові критерії.

Однак пояснення процесу прийняття рішень із більш складних алгоритмів залишається значною проблемою. Візьмемо, наприклад, систему розпізнавання зображень, подібну до такої, яка виявляти та відстежувати пухлини. Не дуже корисно пояснювати оцінку конкретного зображення на основі окремих пікселів. В ідеалі ми хотіли б отримати пояснення, яке надає додаткове розуміння рішення - наприклад, визначення конкретних характеристик пухлини на зображенні. Дійсно, розробка пояснень для таких автоматизованих завдань прийняття рішень стримує багатьох дослідників зайнятий.

про автора

Анупам Датта, доцент кафедри обчислювальної техніки та електротехніки та обчислювальної техніки, Університет Карнегі-Меллона

Ця стаття була спочатку опублікована на Бесіда. Читати оригінал статті.

Суміжні книги

at InnerSelf Market і Amazon