Експерти спричинили це катастрофічно неправильно, вважає Домінік Каммінгс, колишній головний радник прем'єр-міністра Великобританії Борис Джонсон. Каммінгс сперечався що офіційні наукові консультації уряду Великобританії в березні 2020 року глибоко неправильно зрозуміли, як буде розвиватися пандемія, що призвело до затримки блокування, яка коштувала тисяч життів.

За словами Каммінгса, на даний момент більш точні прогнози давали деякі спеціалісти, які менш знають пандемію або медицину - такі, як вчений Бен Уорнер, дослідник штучного інтелекту Деміс Хассабіс із DeepMind та математик Тім Гауерс.

Відомо, що Каммінгсом є вентилятор of Суперпрогнозування Філіпа Тетлока, книги про людей, які прогнозують майбутні події надійніше, ніж більшість. Деякі суперпровісники отримали високу оцінку за їхні прогнози щодо пандемії, тоді як інші також були критично ставляться до експертів запис.

То чи повинні уряди ширше використовувати супервісників, а не покладатися на наукових експертів? Докази не зовсім чіткі. Але, безсумнівно, є речі, які уряди можуть навчитися із надпрогнозування.

В відоме американське дослідження на супервісників, опублікованих у 2014 році, вони були елітним екіпажем. Тільки найкращі 2% претендентів виступили досить добре на турнірі з геополітичного прогнозування, щоб виграти титул. Їх завданням було визначити ймовірності можливих відповідей на десятки питань.

Дослідники наводять кілька наочних прикладів. Хто був би президентом Росії в 2012 році? Чи підірве Північна Корея чергову ядерну зброю протягом найближчих трьох місяців? Скільки біженців втече з Сирії наступного року?

Звичайно, те, що хтось добре працює один рік, не доводить, що він більш досвідчений, ніж хтось інший. Можливо, їм просто пощастило. Ми повинні поглянути на те, наскільки добре вони працювали в наступні роки, щоб оцінити, наскільки вони „супер” насправді.

Вражаюче, що ці суперпровісники зберігали свою перевагу, оскільки турнір тривав ще три роки. Фактично, після об’єднання у „команди суперпрогнозування”, що містять лише інших найкращих виконавців, їх результативність значно зросла. Дослідники також виявили, що робота в командах та проходження відповідного тренінгу покращили ефективність роботи інших синоптиків порівняно з прогнозистами в контрольному стані.

Команди та тренування

Незалежно від того, чи віримо ми Каммінгсу на його слово, що британське планування пандемії страждало від "класичного міхура групового мислення", ми знаємо, що команди не завжди приймають мудрі рішення. Що саме зробило команди більш успішними в дослідженні в США?

Важко точно сказати, але дослідники спеціально заохочували групи задавати точні запитання, щоб заохотити чіткіше думати про докази, що підтверджують конкретний прогноз, "шукати докази, що суперечать вашим поточним прогнозам", і конструктивно представити альтернативні точки зору .

Такі дебати цілком можуть бути покращити колективне судження та оберігати від групового мислення. Також члени команди не повинні були прийти до консенсусу. Хоча вони ділились інформацією та думками, вони все одно робили індивідуальні прогнози, які поєднувались за допомогою алгоритму. Зокрема команди супервісників були дуже зайнятий, часто обмінюючись інформацією та задаючи запитання іншим членам команди.

Інше дослідження придивився уважніше, які конкретні прийоми тренувань, здається, найбільше допомагають. Три методи були особливо пов'язані з більш високою точністю. Першим було використання так званих класів порівняння.

Наприклад, якщо я намагаюся передбачити ймовірність того, що Бенедикт Камбербетч і Софі Хантер все одно будуть разом через п’ять років, може бути корисно подумати про інші “класи”, які мають відношення - скажімо, про клас шлюбів знаменитостей чи навіть шлюби взагалі. Це дозволяє мені заглянути в історію, щоб повідомити свої прогнози: Який відсоток шлюбів знаменитостей закінчується за певний п’ятирічний період?

Другий - використовувати математичні та статистичні моделі, коли вони доступні, щоб допомогти поінформувати власні погляди. Третім було “вибрати правильні питання” - рекомендація витрачати більше часу на прогнозування відповідей на запитання, де ви знаєте більше про цю тему, або з приводу яких додаткові дослідження можуть окупитися. Однак дослідники підкреслили, що всі компоненти навчання можливо, цілісно сприяли кращій роботі.

Дослідження також показали, що точність покращується, коли ми відстежуємо свої минулі результати - але вид зворотного зв'язку має значення. Чи результати, які ви думали, відбудуться 20% випадків, насправді траплялися 20% часу? А як щодо результатів, які, на вашу думку, відбуватимуться 90% випадків? Ефективність покращується для тих, хто отримує такий вид інформації.

Чи можуть уряди зробити краще?

Чи міг уряд Великобританії досягти кращого результату щодо COVID-19, вимагаючи участі команд суперпрогнозів? Це можливо. Суперпровісники в Гарне судження відкрите і практикували синоптики в Метакулус (у якому я брав участь), схоже, кожен добре справився з COVID-19, а Metaculus стверджував, що мав перевершили експертів у червні 2020 року останні серії серед передбачень, пов’язаних із COVID-19, навчені прогнозисти не завжди були точнішими за експертів. Дослідники, які стоять за опитуванням, експериментують із способами об'єднання прогнозів від експертів доменів та підготовлених синоптиків в "консенсусний прогноз".

Також здається правдоподібним, що навіть тренінг, який допоміг людям, що не мають надмірного стану, робити кращі прогнози, був би корисним. Наприклад, Каммінгс стверджував, що, хоча багато уваги приділялося епідеміологічним моделям, докази, що суперечать припущенням моделей - наприклад, дані, що надходять у відділення інтенсивної терапії - ігнорувалися. Звичайно, здається правдоподібним, що хтось, навчений «шукати докази, що суперечать вашим поточним прогнозам», міг помітити це раніше.

Звичайно, не всі рекомендації з літератури є практичними в державних установах. Теоретично уряди можуть перевіряти такі рекомендації для себе, приймаючи будь-які, що здаються вигідними. На жаль, ви не можете вдосконалити те, що не вимірюєте.

In Суперпрогнозування, Тетлок наголошує, що будь-яка організація, яка серйозно ставиться до покращення своїх прогнозів, повинна прикріпити до них конкретні цифри, принаймні внутрішньо. Фраза на кшталт "серйозна можливість" може означати 20% шанс для однієї людини та 80% шанс для іншої.

Це майже напевно мав на увазі Каммінгс коли він сказав: "Хлопець, якого звали Філ Тетлок, написав книгу, і в цій книзі він сказав, що не слід використовувати такі слова, як розумні, ймовірні та ймовірні, оскільки це всіх бентежить" Можливо, це не повинно дивувати нас, якщо організації, які не роблять прогнозів таким чином, щоб їх можна було оцінити, не мають можливості навчитися їх покращувати. Для вдосконалення спочатку потрібно спробувати.