люди - і країни - у стані війни
Наполеон міг навчитися з минулого. картина Адольфа Нортена/wikipedia

Це кліше, що незнання історії змушує її повторювати. Як багато людей також зазначали, єдине, чого ми вчимося з історії, це те, що ми рідко чогось вчимося з історії. Люди займаються сухопутні війни в Азії знову і знову. Вони також повторюють ті самі помилки при знайомстві знову і знову. Але чому це відбувається? І чи технології покладуть цьому край?

Одна проблема - це забудькуватість і "короткозорість”: ми не бачимо, як минулі події стосуються поточних, не помічаючи закономірності розгортання. Наполеон мав би помітити схожість між своїм походом на Москву та шведським королем Невдала спроба Карла XII зробити те саме приблизно за століття до нього.

Ми також погано вчиться коли щось йде не так. Замість того, щоб визначити, чому рішення було неправильним і як уникнути його повторення, ми часто намагаємося ігнорувати незручний поворот подій. Це означає, що наступного разу, коли виникне схожа ситуація, ми не побачимо подібності – і повторимо помилку.

Обидва виявляють проблеми з інформацією. У першому випадку нам не вдається запам’ятати особисту чи історичну інформацію. У другому випадку нам не вдається закодувати інформацію, коли вона доступна.


Innersele підписатися графіка


Тим не менш, ми також робимо помилки, коли не можемо ефективно зрозуміти, що станеться. Можливо, ситуація надто складна або забирає надто багато часу, щоб думати про неї. Або ми упереджено неправильно тлумачимо те, що відбувається.

Дратівлива сила техніки

Але чи технології можуть нам допомогти? Тепер ми можемо зберігати інформацію за межами нашого мозку та використовувати комп’ютери для її отримання. Це повинно полегшити навчання та запам’ятовування, чи не так?

Зберігати інформацію корисно, коли її можна добре отримати. Але запам’ятовування – це не те саме, що отримання файлу з відомого місця чи дати. Запам'ятовування передбачає виявлення подібностей і пригадування речей.

Штучний інтелект (ШІ) також повинен мати можливість спонтанно привносити в наш розум подібності – часто небажані подібності. Але якщо він добре помічає можливі подібності (зрештою, він міг би шукати весь Інтернет і всі наші особисті дані), він також часто помічає помилкові.

Для невдалих побачень можна відзначити, що всі вони включали вечерю. Але проблемою ніколи не було харчування. І це була чиста випадковість, що на столі були тюльпани – не варто їх уникати. Ми часто повторюємо помилки у знайомствах. 

Це означає, що він попередить нас про речі, які нас не цікавлять, можливо, у неприємний спосіб. Зменшення його чутливості означає збільшення ризику не отримати попередження, коли воно потрібне.

Це фундаментальна проблема, яка однаково стосується будь-якого радника: обережний радник надто часто кричить як вовк, оптимістичний радник упускає ризики.

Хороший порадник – це той, кому ми довіряємо. Вони мають такий же рівень обережності, як і ми, і ми знаємо, що вони знають, чого ми хочемо. Це важко знайти в людському пораднику, а тим більше в ШІ.

Де технології зупиняють помилки? Ідіотологічні роботи. Машини для різання вимагають, щоб ви утримували кнопки, тримаючи руки подалі від лез. Якщо оператор втрачає працездатність, машина зупиняється «перемикачем».

Мікрохвильові печі вимикають випромінювання при відкритті дверцят. Щоб запустити ракети, двом людям потрібно одночасно повернути ключі в кімнаті. Тут ретельний дизайн ускладнює помилки. Але ми недостатньо дбаємо про менш важливі ситуації, роблячи дизайн там набагато менш стійким до ідіотів.

Коли технології працюють добре, ми часто занадто довіряємо їм. Пілоти авіакомпаній сьогодні мають менше справжніх годин нальоту, ніж у минулому, через дивовижну ефективність систем автопілота. Це погана новина, коли автопілот виходить з ладу, а пілот має менше досвіду, щоб виправити ситуацію.

Перший з а нова порода нафтової платформи (Sleipnir A) затонула оскільки інженери довіряли програмному розрахунку діючих на нього сил. Модель була неправильною, але вона представила результати в такий переконливий спосіб, що вони виглядали надійними.

Значна частина нашої технології надзвичайно надійна. Наприклад, ми не помічаємо, як за лаштунками постійно знаходять втрачені пакети даних в Інтернеті, як коди для виправлення помилок усувають шум або як запобіжники та резервування роблять прилади безпечними.

Але коли ми накопичуємо рівень за рівнем складності, це виглядає дуже ненадійно. Ми помічаємо, коли відео Zoom затримується, програма AI відповідає неправильно або комп’ютер виходить з ладу. Але запитайте будь-кого, хто користувався комп’ютером чи автомобілем 50 років тому, як вони насправді працювали, і ви помітите, що вони були менш потужними та менш надійними.

Ми ускладнюємо технологію, доки вона не стане надто надокучливою або небезпечною для використання. Оскільки деталі стають кращими та надійнішими, ми часто вирішуємо додавати нові захоплюючі та корисні функції, а не залишатися на тому, що працює. Це зрештою робить технологію менш надійною, ніж могла б бути.

Будуть зроблені помилки

Ось чому штучний інтелект є двосічним мечем для уникнення помилок. Автоматизація часто робить речі безпечнішими та ефективнішими, коли вона працює, але коли вона виходить з ладу, це робить проблеми ще більшими. Автономність означає, що розумне програмне забезпечення може доповнювати наше мислення та розвантажувати нас, але коли воно не думає так, як ми того хочемо, воно може поводитися неправильно.

Чим він складніший, тим фантастичнішими можуть бути помилки. Будь-хто, хто мав справу з високоінтелектуальними вченими, знає, як добре вони можуть зіпсувати речі з великою винахідливістю, коли здоровий глузд їх підводить, а ШІ має дуже мало людського здорового глузду.

Це також вагома причина для занепокоєння щодо того, що ШІ керує процесом прийняття рішень: вони роблять нові види помилок. Ми, люди, знаємо людські помилки, тобто можемо стежити за ними. але розумні машини можуть робити помилки, про які ми ніколи не могли уявити.

Більше того, системи ШІ програмуються та навчаються людьми. І прикладів таких систем дуже багато стає упередженим і навіть фанатичним. Вони імітують упередження та повторюють помилки з людського світу, навіть якщо залучені люди явно намагаються їх уникнути.

Зрештою, помилки продовжуватимуть відбуватися. Є фундаментальні причини, чому ми помиляємося щодо світу, чому ми не пам’ятаємо все, що повинні, і чому наші технології не можуть ідеально допомогти нам уникнути проблем.

Але ми можемо працювати над зменшенням наслідків помилок. Кнопка скасування та автозбереження зберегли незліченну кількість документів на наших комп’ютерах. Пам'ятник у Лондоні, камені цунамі в Японії та інші пам’ятники нагадують нам про певні ризики. Належна практика проектування робить наше життя безпечнішим.

Зрештою, з історії можна чогось навчитися. Нашою метою має бути виживання та навчання на своїх помилках, а не запобігання їхньому повторенню. Технології можуть нам у цьому допомогти, але нам потрібно ретельно подумати, чого ми насправді хочемо від них, і відповідно розробляти.

про автора

Андерс Сандберг, науковий співробітник Джеймса Мартіна, Інститут майбутнього людства та Оксфордська школа Мартіна, Оксфордський університет

Ця стаття перевидана з Бесіда за ліцензією Creative Commons. Читати оригінал статті.