Сортування за алгоритмами розміщує нас у вікнах. Звідки ми знаємо, що вони правильні? згенеровано, CC BY

Суспільство, схоже, взяло курс на те, що наше життя підлягає увазі комп'ютерних алгоритмів. Дані, які ми генеруємо, аналізуються та аналізуються урядами з питань національної безпеки чи компаніями з метою отримання прибутку, і це навряд чи зміниться - після виявлення сили та привабливості аналізу даних не буде легко відмовлятися.

Але насправді мені цікаво, чи мене більше турбує те, що наші дані збираються, чи те, що ми нічого не знаємо про алгоритми, які висувають нам рішення.

Рівень деталізації нашого життя та звичок, який можна вилучити з даних, які ми залишаємо позаду, обговорювався раніше, і він отримує свіжий ефір як частина дискусії навколо проекту Великобританії Білл про слідчі повноваження. Ми знаємо принаймні дещо про те, які дані збираються та як довго вони зберігаються, деякі з них регулюються законодавством Великобританії та Європи.

У текст проекту законопроекту, наприклад, ми знаємо, що уряд Великобританії вимагатиме (лише необґрунтований) доступ до метаданих комунікацій, заголовків та тем електронних листів та записів телефонних дзвінків. Але ми також знаємо, наскільки явними можуть бути метадані: подивіться на Проект занурення в роботу медичної лабораторії MIT для потужного прикладу того, наскільки багато деталей можна дізнатися з нього. Це звичайно зовсім не порівняти з деталізованим рахунком за телефон, як стверджувалося.

Тож на краще чи гірше ми, громадськість, маємо певний підказку щодо того, що записується. Але ми абсолютно не знаємо, які аналітичні засоби та методи застосовуються до цих даних - і значення цього не слід недооцінювати.

Що хрумтить цифрами?

Ми можемо робити освічені здогади. Агенції національної безпеки, ймовірно, використовують наші метадані для створення соціальних мереж між людьми та місцями, серед іншого, зв’язуючи нас між собою. Потім ці мережі взаємовідносин будуть проаналізовані, щоб визначити, чи є ми людиною, яка представляє інтерес, що визначається тим, як ви порівнюєтесь з іншими особами, що представляють інтерес, і як ви зв’язуєтесь із існуючими особами, що представляють інтерес, або з тими, хто з ними пов’язаний.

Дослідники, які використовують ці методи, розуміють їх обмеження та те, що алгоритми, що їх використовують, можуть містити помилки або основні припущення, які мають глибокий вплив на їх результати. У цьому випадку це може означати, визначено вас терористом чи ні, чи ви маєте право на позику чи іпотеку.

Також не зовсім ясно, де в нечітких прикордонних районах визначається існування стосунків. Чи просто відвідування того самого веб-сайту, що і терорист, означає загальні цінності, або проїзд на одному автобусному маршруті щодня підказує вам регулярно спілкуватися з терористами? Цілком можливо відвідати сайти, де відвідують відомі терористи з багатьох законних причин. Якщо ви отримуєте свої новини з тих самих веб-сайтів, що і терористи, чи є у вас більше шансів стати терористом? Дискримінація та упередженість можуть бути введені в момент збору даних, а потім знову, коли приймаються рішення про те, як аналізувати ці дані. Алгоритми теж можуть розрізняти.

Розмиті межі

Можливість того, що алгоритми вводять небажане упередження, є цілком реальною. Наприклад, ті, хто використовується службами безпеки, проходять навчання з наборів даних відомих терористів та відомих нетерористів. Чи означає це, що, оскільки найбільш відомими терористами є чоловіки віком 20-30 років, Вас частіше класифікують як терориста лише за те, що він є чоловіком і віком приблизно 20-30 років, незалежно від інших ваших властивостей ?. Якщо так, чи це суттєво впливає на використання даних?

Проблема випливає з того факту, що я та інші академічні дослідники, які використовують складний мережевий аналіз, машинне навчання, узгодження зразків або методи штучного інтелекту, використовують наші методи публічно експертною оцінкою, щоб визначити силу методів та обґрунтованість висновків; державні служби безпеки та організації приватного сектору цього не роблять. Ми не маємо уявлення про якість їх методів та про те, як вони їх застосовують. Чи є рішення цього?

Люди з іншої галузі безпеки, криптографії, вже давно дізналися, що найкращим способом покращити якість, а отже, і безпеку її алгоритмів було зробити їх загальнодоступними. Криптографічні реалізації та шифри публікуються, і дослідники заохочують спробувати знайти помилки або недоліки, роблячи це, покращуючи безпеку для всіх, хто їх використовує. Крім того, будь-яка реалізація криптогафічних алгоритмів із закритим кодом (непублічним) є загалом сприйнято з підозрою. Якщо вони хочуть виносити нам рішення, що змінюють життя - незалежно від того, позначені ми як терористи чи фінансово негідні - та ж модель повинна застосовуватися до алгоритмів безпеки.

Аргументом проти такого кроку є те, що відкриті та прозорі алгоритми можуть змусити терористів модифікувати свою реальну поведінку, щоб уникнути виявлення. Це означало б змінити такі речі, як їх взаємодія, асоціації, звички перегляду та потенційні рухи. Але це, якщо алгоритми працюють належним чином, означало б, що вони фактично перестають діяти як терористи. Якщо наша майбутня безпека, свобода та безпека залежатимуть від цих алгоритмів, ми повинні бути впевнені, як саме вони працюють.

про автора

Філіп Гарнетт, викладач Йоркського університету.

Ця стаття була спочатку опублікована на Бесіда. Читати оригінал статті.

Пов’язана книга:

at

Дякуємо за відвідування InnerSelf.com, де є 20,000 + статті, що змінюють життя, пропагуючи «Нові погляди та нові можливості». Усі статті перекладено на 30+ мов. Підписуватися для журналу InnerSelf, що виходить щотижня, та щоденного натхнення Марі Т. Рассел. Журнал InnerSelf видається з 1985 року.