Более 11% проведённых расчётов в авторитетных научных журналах Nature и British Medical Journal не соответствует опубликованным данным, а хотя бы одна статистическая ошибка присутствует в 38% публикаций Nature и 25% публикаций BMJ.
В настоящее время в медицине не начинается ни одно качественное исследование лекарственных средств без разработанного статистического плана анализа результатов. Значительные силы были направлены на то, чтобы улучшить и стандартизировать медицинские публикации, отчёты о результатах проведённых исследований, авторские доклады. Однако все же существует небольшая часть литературы, в которой присутствуют неправильные вычисления или результаты.
В журнале BMC Medical Research Methodology была опубликована статья, посвящённая анализу статистических ошибок в научных публикациях медицинского профиля.
Доктор Э. Гарсия-Бертоу (E. Garcia-Berthou), и доктор К. Олкараз (C Alcaraz) из Университета Гирона, Испания, проверили соответствие результатов, содержащих такие данные, как статистические тесты, степени свободы, величину статистической значимости P во всех статьях журнала Nature (номера 409-412, 2001 г.), и статьях British Medical Journal (номера 322-323, 2001 г.).
Более чем в 11% случаев проведённые исследователями расчёты в Nature и BMJ не соответствовали опубликованным данным, хотя бы одна статистическая ошибка присутствовала в 38% публикаций Nature и 25% публикаций BMJ. Относительная систематическая ошибка была более чем 10% в 12% статей, что изменяло уровень статистической значимости, указанный в статье, на один или несколько порядков. Медиана относительной систематической ошибки величины P (разница между опубликованной величиной P и рассчитанной, делённая на рассчитанное значение) была 38%.
Основное число ошибок следовало из-за неправильного округления, но действительную значимость ошибок невозможно установить, не владея исходными данными. Некоторые ошибки могли появиться уже после завершения исследования, при подготовке рукописи к печати и даже из-за простых опечаток.
Во многих статьях выявленные статистические ошибки имеют незначительные последствия, но, не исключено, что существуют ошибки в графиках и результатах исследования, которые исследователи не смогли проверить.
Улучшать эти и другие аспекты статистической практики - это ответственность всей системы научных публикаций. Это ответственность авторов при написании статьи, редакторов рецензирующих публикацию и, не в последнюю очередь, читателей.
В заключение, авторы исследования рекомендуют придерживаться следующих рекомендаций статистического характера, которым необходимо следовать при написании статьи:
- Численные результаты должны быть правильно округлены.
- Рукописи при составлении и редактировании должны тщательно проверяться.
- Исходные данные должны быть доступны в Интернете.
- Версия программы, использованной для статистической обработки, или код программы должны быть приложены к статье.
E. Garcia-Berthou, C. Alcaraz.
Incongruence between test statistics and P values in medical papers.
BMC Medical Research Methodology, 2004, 4: 13
