За последнее десятилетие или около того научное сообщество было обеспокоено тем, что было названо «кризисом воспроизводимости»: очевидной неудачей некоторых значительных экспериментов с получением тех же результатов при их повторении. Эта неудача привела ко многим предложениям о том, что можно было бы сделать, чтобы улучшить ситуацию, но мы до сих пор не до конца понимаем. Зачем эксперименты не дают результатов.
В нескольких недавних исследованиях была предпринята попытка точно определить основную проблему. Новое исследование подошло к проблеме воспроизводимости, проведя набор идентичных поведенческих экспериментов в нескольких лабораториях в Швейцарии и Германии. Выяснилось, что многие различия сводятся к самой лаборатории. Но есть также вариабельность результатов, которую нельзя объяснить какой-либо очевидной причиной и которая может возникать просто из-за различий между отдельными мышами.
Попробуйте еще раз
Основная схема работы довольно проста: заставить три лаборатории провести один и тот же набор из 10 стандартных поведенческих экспериментов на мышах. Но исследователи предприняли ряд дополнительных шагов, чтобы детально изучить основные факторы, которые могут влиять на результаты экспериментов. Эксперименты проводились на двух разных линиях мышей, обе из которых подвергались инбридингу в течение многих поколений, что ограничивало генетическую изменчивость. Все мыши были заказаны в одной компании. Они содержались в одинаковых условиях и тестировались в одном возрасте.
Каждая из трех лабораторий провела по два повторения эксперимента. В одном случае вся работа выполнялась одним человеком, чтобы уменьшить влияние различий в обращении с мышами. Во втором три разных человека проводили эксперименты, чтобы добавить некоторую вариативность.
В идеале эти эксперименты должны были дать идентичные результаты. Если бы они этого не сделали, исследователи могли бы изучить, чем отличаются результаты, и выяснить, могут ли расхождения быть связаны с лабораториями, людьми, проводящими эксперименты, штаммом вовлеченных мышей или какой-либо комбинацией вышеперечисленного.
Смешанные сигналы
Первое, что становится очевидным из результатов, это отсутствие единой проблемы воспроизводимости. Некоторые из экспериментов воспроизводились очень хорошо, с ограниченной изменчивостью. Другие, как и следовало ожидать, увидели различия между штаммами. Но в половине этих случаев величины различий штаммов варьировались таким образом, что в одной лаборатории мог наблюдаться статистически другой эффект, а в другой — нет. В одном случае штаммы показали противоположное поведение в разных лабораториях.
Кроме того, результаты были повсюду. В некоторых случаях штамм мыши был самым большим источником изменчивости. В других это была лаборатория. Влияние отдельного исследователя, которое было значительным в других исследованиях, оказалось незначительным во всех тестах, кроме одного или двух.
Но одним из самых убедительных результатов было то, что большая часть изменчивости не может быть объяснена ничем, отслеженным в исследовании. В девяти из 10 тестов неучтенная вариация превышала 25 процентов от общего числа, а в шести из 10 — больше половины.
«Вещи, которые мы не думали тестировать» может быть чрезвычайно большой категорией, но в этом случае трудно придумать способы проведения экспериментов более последовательно, чем это было сделано здесь. Таким образом, хотя вариации могут быть вызваны большим количеством факторов, это может иметь небольшое практическое значение, поскольку мы все равно не можем контролировать эти факторы.
Исследователи также указывают на более ранние исследования, предполагающие, что по крайней мере часть этой изменчивости может быть связана с различиями между отдельными мышами. Несмотря на то, что они были выращены в одинаковых условиях и их генетика почти идентична, у каждой мыши неизменно будет несколько разный опыт. Мыши также не являются автоматами, и можно ожидать, что время от времени их поведение будет меняться. Все это может наложить ограничения на то, насколько хорошо мы можем ожидать повторения поведенческих экспериментов.
Тем временем исследователи предполагают, что, возможно, стоит использовать факторы, которые действительно имеют значение. Намеренно изменяя вещи, которые могут изменить поведенческие результаты, например, следя за тем, чтобы исследования проводили несколько экспериментаторов, мы можем намеренно добавлять шум к результатам. Любой сигнал, превышающий этот шум, с большей вероятностью будет воспроизводиться.
ПЛОС Биология2022. DOI: 10.1371/journal.pbio.3001564 (О DOI).
