Масштабная проверка результатов сразу сотни психологических исследований, опубликованных в престижных рецензируемых журналах, показала, что лишь треть из них можно воспроизвести в повторных опытах.
Первая в истории психологи масштабная проверка результатов сразу сотни научных работ, опубликованных в престижных рецензируемых журналах, показала, что лишь 39% их результатов можно воспроизвести в повторных опытах, заявляют ученые в статье, опубликованной в журнале Science.
"Многие годы среди нас существовали сомнения в том, можно ли воспроизвести результаты психологических исследований, но прямых и системных доказательств таким подозрениям почти не было. Наш проект является первой попыткой это сделать, и он показал, что данная проблема существует и что с ней следует бороться", — заявил Брайан Носек из университета Виргинии, руководитель проекта.
Как отмечают Носек и его коллеги, подобные результаты их не расстраивают – по их словам, они не говорят о том, что психология не является наукой, а лишь указывают на необходимость более тщательного подхода к подбору методики проведения экспериментов и анализа полученных данных. Раньше, по его словам, подобные проверки вообще не проводились.
Носек и почти три сотни психологов со всех уголков мира, участвовавших в проекте Reproducibility Project, поставили перед собой амбициозную задачу – изучить выводы ста научных работ, опубликованных в трех ведущих научных журналах по психологии, и попытаться повторить их результаты, используя изложенную их авторами методику проведения эксперимента.
На протяжении почти четырех лет, с 2011 года и по текущий год, команда Носека проводила повторные эксперименты. Их результаты оказались неутешительными – несмотря на то, что ученым удалось точно воспроизвести методику почти для всех ста публикаций, лишь в 39% случаев у них получилось повторить их результаты.
Подобные итоги не означают того, что авторы 61% работ, результаты которых не были подтверждены, сделали некорректные выводы или просто совершили намеренную ошибку для получения красивого результата. Вполне возможно, как предполагают Носек и его коллеги, что они не полностью описали использованную методику или не учли каких-то побочных факторов, влиявших на участников эксперимента.
Тем не менее, такой результат свидетельствует о том, что методы проведения психологических исследований и правила публикации их результатов нуждаются в уточнении, ужесточении и серьезном пересмотре. В качестве первого шага участники Reproducibility Project предлагают публиковать все наборы данных и методик экспериментов в полностью открытом виде.
Особенное внимание, по словам ученых, следует обращать на результаты исследований – почти во всех работах, прошедших повторную проверку, сила раскрытых психологами эффектов была завышена в два раза. Как считают ученые, это может быть связано с тем, что экспериментаторы отбрасывали часть негативных результатов, или же с редакционной политикой научных журналов, предпочитающих яркие и "однозначные" открытия.
Некоторые журналы, как отмечает Носек, уже прислушалась к рекомендациям Reproducibility Project и поменяла правила приема и публикации научных статей. Как надеются участники проекта, список изданий заметно пополнится после публикации их исследования в Science (Источник: РИАНОВОСТИ).
Напомню (прим. Ред.), что в течении десяти лет руководства отделом онкологических заболеваний компании Amgen, Inc. Гленн Бигли лично отобрал 53 «эпохальные» публикации из самых авторитетных журналов, авторами которых были сотрудники самых уважаемых лабораторий. Отобрал для того, чтобы попытаться воспроизвести. В Amgen считают нужным лишний раз перепроверить представленные результаты, прежде чем вкладывать деньги в очередной многообещающий проект по разработке очередного антиракового препарата.
И вот итог: 47 из 53 опубликованных результатов были невоспроизводимы. Г-н Бигли прокомментировал это в статье, появившейся в журнале Nature, отчёт подготовленный специалистами Bayer AG имеет те же неутешительные выводы.
Тема воспроизводимости научных исследований особенно остро стоит в фармакологии и медицине, когда с целью продолжения грантового финансирования грантополучатели «притягивают за уши» нужный для этого результат, либо исследователи на поздних этапах делают то же самое под давлением заказчиков, которые не принимают данные отличные от желаемых.
Вот уже пять лет компания БИОКОНСАЛТИНГ проводит независимые исследования на воспроизводимость результатов «волнующих» научных данных и публикаций.
Директор компании БИОКОНСАЛТИНГ - Чагин Алексей Сергеевич
