birbera (birbera) wrote,
birbera
birbera

«Что за великая наука теология, если её достойные представители так приседают»




 Александр Панчин на форуме «Учёные против мифов-4».
Александр Панчин на форуме «Учёные против мифов-4»

«Учёные против мифов» — не только весёлая карусель научно-популярных лекций, но и крупное сборище «банды» учёных и популяризаторов. Не воспользоваться этим было бы просто непростительно, поэтому во время перерыва я подстерегла Александра Панчина между кофейными столиками и прилавками с книжками. Кандидат биологических наук, генетик, член Комиссии РАН по борьбе с лженаукой и лауреат премии «Просветитель» любезно согласился ответить на мои вопросы. Пока гости форума слушали египтолога и археолога, мы поговорили о кризисе воспроизводимости, войне с мракобесием и роли учёных в стране.

Юлия Коровски. Александр, вы советовали подписчикам своего блога почитать статью Джона Иоаннидиса (John Ioannidis) о том, что результаты многих современных исследований недостоверны, и упоминали о кризисе воспроизводимости в науке. Расскажите, пожалуйста, что это такое. Пора ли нам выкидывать учебники?

Александр Панчин. Ну, это в меньшей степени касается учебников, потому что в учебниках, как правило, публикуют то, что было известно давно, много раз воспроизводилось и подтверждается разными линиями аргументации. Это, наверно, больше о новых и сенсационных вещах, которые менее надёжны. Проблема заключается в следующем: учёные замотивированы публиковать положительные результаты. Отрицательные результаты не так легко опубликовать, они меньше поощряются. Из-за этого мы видим существенное преобладание положительных результатов в научной периодике, и часто не предпринимается достаточно усилий для того, чтобы аккуратно их воспроизвести. Причём воспроизвести эксперимент именно один в один, потому что иногда бывает, что при разных условиях получается что-то другое и тогда говорят: «Ну, у нас получилось что-то другое, потому что мы по-другому делали». Получается, что такой эксперимент не может опровергнуть исходное сенсационное утверждение.

И вот такого накопилось довольно много. Джон Иоаннидис, который в 2005 году написал статью в журнале PLOS Medicine о том, что есть веские основания считать, что многие выводы ошибочны, исходил из следующего. У него много разных аргументов, в том числе то, что учёные замотивированы публиковать положительные результаты. Но главное — что люди вообще не очень хорошо умеют использовать статистический анализ и часто неправильно интерпретируют значения статистических параметров, которые у них получаются. Ну, например, очень часто в науке используется параметр «p<0,05». Это означает, что вероятность получить такой же или более радикальный результат в некотором исследовании по случайным причинам при условии, что на самом деле в данных никакого сигнала нет, а есть только шум — меньше пяти процентов. И некоторые люди ошибочно интерпретируют это как «Ну, раз такое получилось, значит, с 95-процентной вероятностью у нас правильный результат». Но это неверно. Мы на самом деле не знаем, какова вероятность того, что некоторый результат правильный, потому что мы не знаем, какой процент наших исходных гипотез был правильным.

Постепенно от этих критериев «p<0,05» пытаются отходить, но пока их продолжают очень активно использовать. Они дают очень большой процент ложноположительных результатов. Чтобы понять, почему и в чём проблема, можно провести такую аналогию. Представьте себе, что у вас есть неплохой тест на какое-то заболевание, который даёт ошибку в 5% случаев. В каком смысле? Если человек здоров, то в 5% случаев тест скажет, что он болен, а если человек болен, то только в 5% случаев тест скажет, что он здоров. И вот, согласно такому тесту, человек получил диагноз, что он болен. Но при этом болезнь очень редкая, встречается в одном случае на миллион. Я не буду давать здесь сложные статистические выкладки, но мораль заключается в том, что даже с положительным результатом такого теста больше вероятность того, что человек здоров, чем того, что он болен. Хотя тест показал, что он болен.

Можно развернуть эту аналогию на научную аргументацию. То, что у нас получилось, что некоторый тест с малой вероятностью ошибки показал какой-то результат, ещё не значит, что результат достоверен. Потому что большинство идей, которые придумывают люди — неправильные. Наука должна отделять правильные идеи от неправильных, а мягкие критерии приводят к тому, что возникает много невоспроизводимых исследований. И прогноз Иоаннидиса сбывается. Оказалось, что когда учёные берутся воспроизводить эксперименты во многих областях науки, они не воспроизводятся. Это было как в области социальной психологии (там было много историй и скандалов), так и в области лекарств от рака — оказалось, что многие препараты, которые должны были работать, при более аккуратной проверке не работают или работают не так хорошо, как должны были. Ну и вообще повсюду такого немало. Мораль заключается в следующем: во-первых, стоит всё-таки использовать более жёсткие критерии в науке и, во-вторых, нужно больше акцентировать внимание на воспроизведении исследований, стоит поощрять тех учёных, которые воспроизводят особенно значимые результаты.

Многие журналы отказываются публиковать статью с воспроизведением на том основании, что нет новизны. Но важна не только новизна, важно, чтобы наши знания уточнялись, а для этого как раз нужно воспроизводить результаты других людей. В связи с этим возникают разные движения, специальные сайты, которые посвящены этой проблеме. Ну, а обычному научному журналисту или читателю научпопа полезно понимать, что если что-то опубликовано в каком-то научном исследовании, но у нас такое исследование одно, нужно к этому относиться с некоторой долей скептицизма.

Ю. К. Учёные пытаются бороться с кризисом воспроизводимости, предпринимают какие-то меры?

А. П. Есть несколько проектов по воспроизведению ключевых работ в той или иной области, в том числе в социальной психологии и в исследованиях лекарств от рака. Есть большое количество групп, которые серьёзно за это взялись. Как ни странно, кстати, в парапсихологии, которая не совсем наука. С одной стороны, это не совсем наука, потому что у них достаточно безумные идеи, а с другой стороны, вполне наука в том смысле, что из-за того, что у них такая спекулятивная область, они пытаются оттачивать методологию таким образом, чтоб к ним нельзя было придраться. В парапсихологии придумали меры, которые до сих пор не используются во многих других областях науки. Скажем, они позаимствовали из доказательной медицины идею о том, что нужно заранее публиковать методику, а после того, как методика была опубликована, проводить исследования. Чтобы в случае отрицательного результата — даже если он не будет опубликован — где-то была справочка о том, что такое исследование должно было быть проведено. Мне кажется, что тут обычным учёным есть чему поучиться у парапсихологов.

Ю. К. Ваша коллега (в сфере популяризации науки) Ася Казанцева включила в книгу «В интернете кто-то неправ» инструкцию по поиску научных статей. Исходя, видимо, из предположения, что обычный человек, непрофессионал, сможет извлечь из этих статей какую-то пользу. Однако если почитать околонаучную прессу, становится понятно, что даже учёные порой не могут сразу отличить достоверные результаты от недостоверных: сомнительные статьи сначала публикуют, затем отзывают и так далее. Есть ли у обычного человека шанс не попасться на удочку очередного Сералини или гомеопатов?

А. П. Никто не застрахован от того, чтобы попасться на удочку какой-то ошибочной статьи. В некоторых статьях ошибки настолько хорошо замаскированы, что на всей планете найдётся, может быть, десяток специалистов, которые смогут понять, что с ней не так. Тем не менее, мне кажется, что это очень полезный навык. Грубо говоря, допустим, что есть какой-то человек, который называет себя специалистом и что-то утверждает. У вас есть один источник информации — этот специалист. Но он должен на что-то ссылаться. Потому что если то, о чём он говорит, нигде больше не написано и не опубликовано, высока вероятность того, что он это выдумал. Имеет смысл пойти и почитать источники, посмотреть, насколько позиция этого специалиста с ними соотносится. Если окажется, что источники подтверждают его позицию, ваше доверие к этому специалисту возрастёт. Если не подтверждают, это повод задуматься. Может быть, это источники не правы, а специалист прав, но, по крайней мере, это даст человеку повод задуматься и продолжить исследование этой темы, прежде чем сделать какой-то вывод. Поэтому мне кажется, что умение анализировать научные источники — очень полезное умение.

Важно иметь адекватную оценку собственных способностей, понимать, что какие-то вещи будут понятны, а какие-то непонятны. Это нормально. Я считаю, что есть несколько вещей, которые нужно знать для того, чтобы иметь возможность разобраться в том, корректно статья сделана или нет. Прежде всего, это некоторые основы теории вероятностей и статистики. На самом деле, её проходят на многих естественно-научных факультетах, и, грубо говоря, физик, может спокойно разбираться в биомедстатистике, если пройдёт соответствующий курс. Или, например, медик может оценить какие-то статистические вещи, сделанные в работе по доказательной медицине, будучи при этом не специалистом по доказательной медицине, а практикующим врачом.

Мне кажется, что очень важно изучать теорию вероятности и общие идеи научного метода, которые на самом деле достаточно универсальны. Это идеи о том, что нужно пытаться исключать субъективность, как испытуемых, так и экспериментаторов (чтобы они не могли повлиять на результат). Там, где это возможно и актуально, нужно использовать рандомизацию, устранять известные ошибки, которые совершают в ходе такого эксперимента — эти ошибки бывают очень специфичны для конкретной области. Например, когда учёные-биологи занимаются анализом каких-то геномов, то есть, изучают последовательность ДНК, известная проблема — загрязнение образца чужеродной ДНК. Соответственно, возникает вопрос: а вот авторы учли такую проблему или нет? Если да, то — как они её учитывали? В общем, есть как общие особенности научного метода, так и некоторые частные вещи и, зная о них, можно давать некоторые приблизительные оценки. Хотя бы знать, учли или не учли известные проблемы авторы исследования. И немножко корректировать свои представления о надёжности тех или иных источников. Понимая при этом, что нет стопроцентно надёжных источников, но какие-то более надёжны, чем другие.

Ю. К. А как натренировать «буллшитометр»?

А. П. Да, это вопрос хороший. Мне кажется, что мы учимся на ошибках других людей. И в этом смысле очень полезно читать разоблачения плохих статей. Разборы, критику. Того же Джона Иоаннидиса прочитать полезно, потому что он как раз формулирует некоторые проблемы, с которыми сталкиваются учёные. Есть такая работа очень полезная, где авторы — социальные психологи — показали, что некорректное применение статистического анализа, очень незаметное, позволяет доказать всё, что угодно. В частности, они доказали, что прослушивание песни Битлз «When I’m 64» уменьшает возраст человека. За счёт забавной статистической манипуляции, которая встречается в обычных научных публикациях в этой области для обоснования чего-то другого. И, кстати, по поводу статистического анализа: иногда он выглядит неоправданно сложным. Когда он выглядит неоправданно сложным, когда кажется: «ну, вообще-то, это можно было сделать очень просто, а здесь очень круто наворочено», это тоже часто бывает красный флаг. Потому что иногда статистический анализ используют для того, чтоб подогнать какой-то результат, найти что-нибудь такое, что было бы значимо и достоверно.

Ю. К. Меня, как научного журналиста, очень волнует вот такой вопрос. У новостников, которые пишут о науке, особенно если это журналисты изданий общего профиля, обычно нет времени разбираться в тонкостях исследований — не только в статистическом анализе, но и в методах — и, кроме того, они часто пишут о новых единичных исследованиях, потому что все любят что-то новенькое и крутое. Не могут ли они сами таким образом стать источником недостоверной информации? Как вы в этом смысле рассматриваете репортёров, пишущих о науке: как соратников в сфере популяризации или для вас они часто люди, за которыми исправлять и исправлять?

А. П. На самом деле это не взаимоисключающие вещи. Во-первых, понятно, что журналисты, как и многие популяризаторы науки, могут и становятся источниками мифов. Да и многие учёные тоже. Потому что бывает так, что учёные опубликовали статью, в которой написана фигня, а потом дали пресс-службе своего института пресс-релиз, в котором написана фигня. Ну а что взять с журналистов, которые взяли и перепечатали фигню, которая прошла рецензию? В данном случае ответственность, наверно, в первую очередь, лежит на учёном (при условии, что журналисты корректно пересказали его слова).

С другой стороны, хотелось бы — в идеальном мире — чтобы люди, которые занимаются научной журналистикой, немножко этичнее подходили к информации. В частности, в чём преимущество любого человека со стороны? Учёный потратил кучу времени, денег, он очень заинвестирован в своём исследовании. Иногда некоторые учёные настолько верят в свою идею — так бывает, — что немножко утрачивают критическое мышление. У них есть какая-то идея, они за это получили грант, они должны сказать «У нас крутое исследование», чтобы им дали следующий грант. Так бывает. Человек со стороны может не иметь таких розовых очков, и уровень некоторых научных журналистов — опять же, они бывают очень разные — порой бывает очень высоким. Например, мне очень нравится блог статистика Даниэля Лакенса(Daniel Lakens). Вот там уровень аргументации и достоверности может превосходить некоторые научные журналы. Он, правда, при этом специалист, поэтому это не совсем корректный пример, но хорошо бы подтягивать научных журналистов до такого уровня, чтобы они могли рассуждать о статьях, о которых пишут. Или, по крайней мере, чтоб у них был штаб «специалистов по вызову», которым можно было бы позвонить и сказать: «Вот вышла статья такая-то, в ней утверждается, что прочитан геном снежного человека, что вы по этому поводу думаете?». И публиковать не просто новость, а новость с некоторым комментарием. Может быть, скептически настроенным, если этот скепсис обоснован.

Ю. К. Как вы считаете, то, что сейчас достижения учёных часто оценивают с  помощью библиометрических показателей, не вредит науке? Насколько полезна или вредна система publish or perish (это расхожее выражение можно перевести как «публикуйся или сгинь», — прим. XX2 ВЕК)?

А. П. Есть известный закон о том, что как только вы начинаете использовать какой-то параметр для оптимизации какого-то процесса, ценность этого параметра моментально падает (речь идёт о законе Гудхарта, — прим. XX2 ВЕК). Поэтому когда этот параметр придумали и начали использовать, он был достаточно ценным и объективным, а сейчас известна проблема накручивания индексов. Появились платные услуги, когда вам предлагают накачать что-нибудь. Российский индекс научного цитирования (РИНЦ) вообще, по-моему, ни о чём не говорит в данный момент. Единственный индекс цитирования, который хоть о чём-то говорит — это индекс цитирования в Web of Science, потому что, грубо говоря, там очень хорошая фильтрация журналов. Есть ряд ограничений, поскольку не все дисциплины одинаково равны: где-то цитирований больше, где-то меньше. В каких-то областях легче опубликовать статью, в каких-то сложнее, поэтому сравнивать напрямую две разные специальности сложно. Тем не менее, различия — не на порядок, скажем так.

Поэтому, если вы видите человека, у которого по Web of Science индекс Хирша, скажем, 20 (значит, у него есть 20 статей, на которые по 20 раз ссылались, без самоцитирований), то, вероятно, он как минимум сделал что-то ценное. Если вы видите, что у человека по Web of Science индекс Хирша 0, скорее всего, это значит, что он не сделал для мировой науки ничего ценного. Может быть, сделает в будущем, может быть, планирует что-то сделать, может быть, у него даже есть неопубликованные результаты, которые будут опубликованы и станут открытием. То есть я не говорю, что это плохой человек или плохой учёный, но пока что его заслуги не подтверждаются публикациями. Наука — явление международное, поэтому уместно смотреть, нашли ли западные коллеги, международные учёные, что-то интересное в его работах. Вот как пример забавного казуса: недавно в России признали наукой теологию, у председателя первого совета по теологии (который, между прочим, при МГУ, то есть, вряд ли когда-нибудь появится более хороший совет по теологии) индекс Хирша 1. У него есть одна статья, на которую ссылаются 1 раз и одна статья, на которую он сам ссылается 1 раз, его собственная. 1 цитирование, 1 самоцитирование. Статей у него чуть больше, но неважно. И он председатель совета, доктор наук. Ну, вот после этого можно только развести руками и сказать «Что за великая наука теология, если её достойные представители так приседают». Вот, как иллюстрация.

Ю. К. Никаких альтернатив этой системе пока не предлагают?
Продолжение в комментарии.


Subscribe

  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 5 comments