Щоб зрозуміти, чи нове лікування хвороби справді краще, ніж старіші методи лікування, лікарі та дослідники шукають найкращі наявні докази. Медичні працівники хочуть «останнього слова» в якості доказів, щоб вирішити питання щодо найкращих способів лікування.

Але не всі медичні докази є однаковими. І існує чітка ієрархія доказів: висновки експертів та звіти про окремі події знаходяться на найнижчому рівні, а добре проведені рандомізовані контрольовані дослідження-на самому верху. На самому верху цієї ієрархії знаходяться метааналізи-дослідження, які поєднують результати численних досліджень, які ставили одне і те ж питання. І дуже, дуже Вершиною цієї ієрархії є метааналізи, які виконує група під назвою Cochrane Collaboration.

Щоб стати членом Кокранівського співробітництва, окремі дослідники або дослідницькі групи зобов’язані дотримуватись дуже суворих вказівок щодо того, як мета-аналізи слід подавати та проводити. Ось чому огляди Кокрейна зазвичай вважаються найкращими мета-аналізами.

Однак ніхто ніколи не запитував, чи відрізняються результати метааналізу, здійсненого Кокранівською співпрацею, від метааналізу з інших джерел. Теоретично, якщо порівнювати кокранівський та некокрановський метааналіз, обидва опубліковані за однакові часові рамки, то можна було б очікувати, що вони вибрали б для аналізу ті самі дослідження, і що їх результати та інтерпретація будуть більше або менше збігаються.

Наша команда з Школи громадського здоров’я Бостонського університету вирішила це з’ясувати. І на диво, це не так що ми знайшли.

Що таке метааналіз?

Уявіть собі, що у вас є п’ять невеликих клінічних випробувань, які виявили загалом позитивну користь для, скажімо, прийому аспірину для профілактики серцевих нападів. Але оскільки в кожному з досліджень була лише невелика кількість досліджуваних, жодне не могло з упевненістю стверджувати, що сприятливий ефект не був просто випадок. Якщо говорити статистикою, то такі дослідження вважатимуться «недостатньо потужними».

Існує хороший спосіб збільшити статистичну силу цих досліджень: об’єднайте ці п’ять менших досліджень в одне. Ось що робить метааналіз. Поєднання кількох менших досліджень в один аналіз та взяття середнього значення цих досліджень іноді може перевернути вагу, і дозволити медичній спільноті з упевненістю знати, чи діє дане втручання чи ні.

Мета-аналізи ефективні та дешеві, оскільки не вимагають проведення нових випробувань. Швидше, це питання пошуку всіх відповідних досліджень, які вже були опубліковані, і це може бути напрочуд важко. Дослідники повинні бути наполегливими та методичними у пошуку. Знайти дослідження та вирішити, чи вони достатньо хороші, щоб довіряти - це місце, де мистецтво - і помилка - цієї науки стає критичною проблемою.

Це насправді є основною причиною заснування Кокранівського співробітництва. Арчі Кокрейн, дослідник медичних послуг, визнав силу мета-аналізу, але також величезну важливість їх правильного виконання. Мета-аналізи Кокранівського співробітництва повинні відповідати дуже високим стандартам прозорості, методологічної строгості та відтворюваності.

На жаль, мало хто може приділити час та зусилля, щоб приєднатися до Кокранівського співробітництва, а це означає, що переважна більшість мета-аналізів не проводиться Співпрацею і не зобов’язані дотримуватися їх стандартів. Але чи це насправді має значення?

Наскільки різними можуть бути два метааналізу?

Щоб з’ясувати це, ми почали з ідентифікації 40 пар мета-аналізів, один з Кокранівського, а інший-не, які охоплювали одне і те ж втручання (наприклад, аспірин) та результат (наприклад, серцеві напади), а потім порівняли та порівняли їх.

По-перше, ми виявили, що майже 40 відсотків кокранівського та некокранівського метааналізу не погоджуються у своїх базових статистичних відповідях. Це означає, що типові читачі, лікарі чи політики у сфері охорони здоров’я, наприклад, запропонують принципово інше тлумачення того, чи було втручання ефективним чи ні, залежно від того, які мета-аналізи вони прочитали.

По -друге, ці відмінності виявились систематичними. В середньому огляди, не пов'язані з Кокреном, мали тенденцію доводити, що втручання, які вони тестували, були більш потужними, з більшою ймовірністю вилікували стан або запобігли деяким медичним ускладненням, ніж пропонували огляди Кокрана. У той же час, не-Кокренівські огляди були менш точними у своїй точності, а це означає, що ймовірність того, що результати були отримані лише завдяки випадковості, була більшою.

Мета-аналіз-це не що інше, як просто уявне середнє значення його складових досліджень. Ми з подивом виявили, що приблизно 63 відсотки включених досліджень були унікальними для того чи іншого набору мета-аналізів. Іншими словами, незважаючи на те, що два набори мета-аналізу, ймовірно, шукатимуть одні й ті ж документи, використовуючи подібні критерії пошуку, за аналогічний період часу та зі схожих баз даних, лише приблизно третина паперів, які мали ці два набори включені були такими ж.

Здається ймовірним, що більшість або всі ці відмінності зводяться до того, що Кокрейн наполягає на посиленні критеріїв. Мета-аналіз настільки ж хороший, як і дослідження, які він включає, і взяття середнього показника поганих досліджень може призвести до поганого результату. Як то кажуть, "сміття всередину, сміття геть".

Цікаво, що аналізи, які повідомляли про набагато більші розміри ефектів, мали тенденцію до повторного цитування в інших статтях зі значно вищою швидкістю, ніж аналізи, що повідомляли про менший розмір ефекту. Це статистичне втілення старої журналістської приказки «Якщо вона кровоточить, це веде». Великі та сміливі ефекти привертають більше уваги, ніж результати, що демонструють маргінальні чи двозначні результати. Зрештою, медична спільнота - просто людина.

Чому це важливо?

На самому базовому рівні це показує, що Арчі Кокрейн був абсолютно правий. Методологічна послідовність, строгість та прозорість є надзвичайно важливими. Без цього існує ризик зробити висновок, що щось працює, коли це не так, або навіть просто перебільшити переваги.

Але на більш високому рівні це ще раз показує нам, як дуже важко створити єдине тлумачення медичної літератури. Мета-аналіз часто використовується як остаточне слово з даної теми, як арбітри двозначності.

Очевидно, що цю роль оскаржує той факт, що два метааналізу, нібито на одну і ту ж тему, можуть прийти до різних висновків. Якщо ми розглянемо мета-аналіз як “золотий стандарт” у нашій нинішній епосі “медицини, що ґрунтується на фактах”, то як реагуватиме середній лікар чи політик чи навіть пацієнт, коли два золоті стандарти суперечать один одному? Застереження emptor.

про автора

Крістофер Дж. Гілл, доцент кафедри глобального здоров’я; Спеціаліст з інфекційних хвороб Бостонського університету.

Ця стаття була спочатку опублікована на Бесіда. Читати оригінал статті.

Пов’язана книга:

at InnerSelf Market і Amazon