Невоспроизводимость данных научных статей (в первую очередь по экономике и психологии) не только не снижает их цитируемость, а, наоборот, повышает ее — к такому выводу пришли американские ученые, проанализировав данные трех проектов по оценке воспроизводимости 2015, 2016 и 2018 годов. На эту тенденцию не влияет даже публикация результатов проверки воспроизводимости, пишут авторы исследования в Science Advances.
Возможность воспроизвести описанный в научной статье эксперимент и получить те же результаты — один из ключевых принципов, на которых строится современная система научного знания. Однако в реальности далеко не все научные статьи оказываются воспроизводимыми. Иногда авторы намеренно упускают некоторые важные детали, чтобы конкурирующая научная группа не смогла повторить их исследование и сделать следующее открытие в этой области. Иногда условия или объекты исследования классических работ заметно изменились со временем, и сейчас их просто невозможно повторить. Но чаще всего это связано с самими опубликованными результатами: те данные, которые авторов не удовлетворили, как правило, просто не добираются до публикации. А те, которые в итоге оказываются в статье, — отбираются таким образом, чтобы лучше иллюстрировать ту закономерность, на которую хотят обратить внимание авторы. Все эти эффекты привели в итоге к кризису воспроизводимости (или кризису репликации), который наиболее заметен в психологии, медицине, экономике и социальных науках, но наблюдается в том числе и в естественных науках.
Марта Серра-Гарсия и Ури Гнизи из Калифорнийского университета в Сан-Диего решили проверить, как воспроизводимость статей влияет на их цитирование. В своем исследовании ученые использовали данные трех проектов, в которых проводилась систематическая оценка воспроизводимости: анализ статей по психологии 2015 года, анализ статей по экономике 2016 года и анализ статей в Nature и Science 2018 года. Статьи из каждого из трех проектов авторы разбили на воспроизводимые (p < 0,05) и невоспроизводимые (p > 0,05) и проанализировали по данным Google Scholar динамику их цитирования с 2010 по 2019 год. Кроме того, исследователи изучили и другие метрики, связанные с цитированием (в частности импакт-факторы тех журналов, в которых были ссылки на невоспроизводимые работы). Отдельно ученые проверили, как повлияла на цитирование статей публикация результатов проверки их воспроизводимости.
Среднее цитирование статей с 2010 по 2019 годы, проверенных на воспроизводимость: A — статьи из Nature и Science, B — статьи по экономике, C — статьи по психологии. Черным обозначено цитирование невоспроизводимых статей, синим — воспроизовдимых
Выяснилось, что для всех трех групп невоспроизводимость результатов исследований не только не снижает цитируемость, а наоборот — повышает ее. В среднем невоспроизводимую статью цитировали на 153 раза больше, чем воспроизводимую. Максимальной эта разница оказалась для статей из Science и Nature. Никакого заметного изменения в динамике цитирования не наблюдалось, в том числе никак не сказалась на ней и проверка на воспроизводимость. Кроме того, те исследования, в которых были процитированы невоспроизовдимые работы, публиковались в журналах с примерно таким же средним импакт-фактором, что и статьи, цитирующие воспроизводимые работы — то есть условное «качество» (или «уровень») статей не отличалось. При этом только в 12 процентах статей, ссылаясь на сомнительную работу, авторы упоминают, что данные не прошли проверку на воспроизводимость.
Слева — вероятность публикации статьи, ссылающейся на воспроизводимые (черные символы) и невоспроизводимые (синие символы) работы. Справа — средний импакт-фактор журналов, в которых эти работы опубликованы
Однако те работы, в которых цитируются воспроизводимые статьи, все же с большей вероятностью оказывались опубликованы в журналах из базы данных Journal Citation Reports — самого полного и надежного источника данных о цитировании в рецензируемых научных журналах. Разница вероятности публикации составила 6,1 процента.
Авторы исследования полагают, что те ученые, которые ссылаются на невоспроизводимые результаты, почти всегда понимают, что эти данные менее надежны. Но предъявляют к ним — как к более интересным — пониженные требования, а также учитывают, что потом такие статьи могут вызвать больший ажиотаж в научной среде и привлечь большее внимание к новой работе.
Источник: N+1
