Коли в автоматизованому світі все піде не так, чи все одно ми знатимемо, що робити?

Ми живемо у світі, який стає все більш складним та складним автоматизований. Точно так само, як нам доводиться вирішувати складніші проблеми, автоматизація призводить до атрофії людських навичок, що може зробити нас більш вразливими при реагуванні на несподівані ситуації або коли щось піде не так. Бесіда

Розглянемо останні хвилини рейсу 447 авіакомпанії Air France, яка впала в Атлантичний океан у травні 2009 року після вильоту з Ріо -де -Жанейро, Бразилія, до Парижа, Франція.

Виявлено його бортовий рекордер повна плутанина в кабіні. Літак нахилився вгору на 15º за допомогою автоматизованого голосу, який повторював "стійло, стійло". Але пілоти хитнулися, один вигукнув: "[…] ми нічого не розуміємо".

Це не місце, де можна вдаватися до тонкощів цього злощасного польоту, окрім як зазначити, що будь-яка система, призначена для автоматичного вирішення непередбачених обставин, більшість часу залишає погіршену базу навичок для меншості ситуацій, які конструктори не могли не передбачаю.

Виступаючи перед Vanity Fair, Надін Сартер, інженер -промисловець з Університету Мічигану, згадує розмову з п'ятьма інженерами, які займаються будівництвом конкретного літака.


Innersele підписатися графіка


Я почав запитувати: "Ну, як це чи інше працює?" І вони не могли домовитися про відповіді. Тому я думав, якщо ці п’ять інженерів не зможуть погодитися, бідний пілот, якщо він коли -небудь зіткнеться з цією конкретною ситуацією ... ну, удачі.

По суті, складність розумного польоту над складними високотехнологічними авіалайнерами передана на роботу роботодавцю, бортові інженери, незважаючи ні на що з кабін пілотів. Тільки старші пілоти та колишні льотчики ВВС зберігають ці докладні навички.

Повернувшись на територію фірми, в автономному світі водіння могли б бути цілі майбутні покоління без будь -якого практичного досвіду водіння та навігація транспортний засіб.

Ми вже бачимо вказівку на що може піти не так коли люди залишають контроль над собою автономні системи.

Розслідування щодо смертельна аварія Tesla Model S з автопілотом зазначили, що компанія надала водіям інформацію про "системні обмеження". У цьому випадку водіям залишається звернути увагу.

Але які шанси матиме людина, щоб взяти на себе будь -який контроль, якщо в майбутньому все піде не так повністю автономний автомобіль. Чи могли б вони навіть знати, як помітити перші ознаки наближення катастрофи?

Втратили наш шлях?

Приводом для цього є технологічний детермінізм, який вважає, що будь -які інновації є по суті хорошими. Хоча новітні технології ще можуть визначити, що таке людина, проблема полягає в тому, щоб усвідомлювати ризик і що робити, щоб не пішло не так.

Це стає все складніше, оскільки ми додаємо складності, особливо з автономним водінням приміські поїзди, повітряні таксі та доставка дронів.

Системні дизайнери створюють більші та більш переплетені системи для розподілу навантаження на комп’ютерну обробку, хоча це робить їхні твори найкращими кандидатами на поломку. Вони не помічають того факту, що як тільки все пов'язано, проблеми можуть поширюватися так само легко, як і рішення, іноді навіть більше.

Зростання і величезна складність автоматизованого світу створює подібні ризики.

Точки небезпеки

З огляду на минуле, потрібна здатність звільняти мережі, коли є точки збою, або, принаймні, закрити частини однієї мережі, коли в іншому місці є точки збою.

Цей "острів" є особливістю розумних електричних мереж, що дає можливість розділити мережу на фрагменти, які здатні самозабезпечувати свої внутрішні потреби в електроенергії. Моделювання показало це менша кількість з'єднань може призвести до більшої безпеки.

Чи може нова наука про складність допомогти визначити, де можуть бути небезпечні точки у дуже взаємопов’язаних мережах? Мартен Шеффер та його колеги так і думав. Він бачив подібність між поведінкою (його) природних систем та економічними та фінансовими системами.

Його попередня робота на озерах, коралових рифах, морях, лісах та пасовищах, виявлено, що середовища, що зазнають поступових змін, таких як клімат, навантаження на поживні речовини та втрата середовища проживання, можуть досягати переломних моментів, які перетворюють їх у іноді незворотний нижній стан.

Чи могли б банкіри та економісти, які борються зі стабільністю фінансових ринків, навчитися у дослідників екології, епідеміології та кліматології розробити маркери наближеності до критичних порогів та поломки системи?

У лютому 2016 року все це зібралося у вигляді документ про теорію складності та фінансове регулювання у співавторстві з широким колом експертів, включаючи економіста, банкіра, фізика, кліматолога, еколога, зоолога, ветеринара та епідеміолога.

Вони рекомендували онлайн-інтеграцію даних, методів та показників, використовуючи стрес-тести для світових соціально-економічних та фінансових систем майже в режимі реального часу. Перший подібний до того, що було досягнуто у роботі з іншими складними системами, такими як погода.

Ми можемо почати бачити, як наш приклад автономного світу водіння перетворюється на питання стабільності мережі. Уявіть собі дуже взаємопов’язану мережу автономних транспортних засобів.

Існує явна необхідність знати, як виявити та ізолювати будь -які потенційні точки збою в такій мережі, перш ніж щось піде не так з потенційно трагічними наслідками. Це більше, ніж просто захист водія та пасажира від будь -яких системних збоїв в одному автономному автомобілі.

Настав час подумати, як би ми могли використати ці багатопрофільні досягнення у розумінні стабільності таких масштабних мереж, щоб уникнути різких наслідків.

про автора

Пітер Фішер, ад'юнкт -професор кафедри глобальних, міських та соціальних досліджень, Університет RMIT

Ця стаття була спочатку опублікована на Бесіда. Читати оригінал статті.

Суміжні книги

at InnerSelf Market і Amazon