Статистически значимо — не всегда заметно на тренировке

Статистически значимо — не всегда заметно на тренировке

Если в статье p оказалось ниже принятого порога, значит ли это, что эффект важен для тренировки? Сам по себе такой результат отвечает на более узкий вопрос: насколько наблюдаемые данные согласуются с заданной статистической моделью. Он не показывает размер разницы, её точность и пользу для конкретной задачи.

Представьте четыре окна вокруг результата исследования:

Результат исследования
├ Размер разницы
├ Интервал неопределённости
├ Ошибка измерения
└ Практический контекст

1. Насколько велика разница?
Сначала найдите сам результат: что сравнивали, на какой шкале и какова разница между группами. «Улучшилось» без величины оставляет главный вопрос открытым. Даже если исследование уверенно обнаружило небольшую среднюю разницу, она может быть почти незаметна при обычной тренировке. И наоборот: результат без привычной метки «значимо» не доказывает, что полезного эффекта нет. По одному p оба вывода делать нельзя.

Условная ситуация: два подхода к разминке дали разные средние результаты в тесте. Прежде чем менять привычку, нужно увидеть размер разницы и понять, что измерял тест. Это пример чтения статьи, а не данные о преимуществе подхода.

2. Насколько точна оценка?
Точечная оценка — одно число, а доверительный интервал показывает неопределённость вокруг него. Если интервал допускает и почти незаметную, и полезную разницу, вывод для практики остаётся открытым. Если он узкий и лежит в области малых изменений, результат может быть статистически убедительным, но мало что менять в выборе занятий. Граница «достаточно важно» зависит от исхода и должна обсуждаться отдельно от порога p.

Условная ситуация: авторы сообщают об улучшении времени теста, но диапазон эффекта широк. Заголовок «метод работает» здесь сильнее данных. Нужны протокол и интервал, а не только ярлык «значимо».

3. Что меняется само по себе?
Повторный тест у одного человека не обязан дать точно то же число: влияют условия и свойства измерения. Поэтому рядом с предполагаемым изменением полезно искать данные о повторяемости теста. В исходном исследовании бегуны дважды выполняли тест на 5 км на немоторизованной дорожке: время прохождения и разные физиологические показатели имели разную повторяемость. Это пример того, почему «изменился показатель» ещё не равно «изменилось качество подготовки». Исследование не задаёт универсальную границу значимого изменения для любого бегуна и любого устройства.

4. Стоит ли эффект своей цены?
Практический вывод зависит от того, кого изучали, с чем сравнивали, как долго наблюдали и какой исход выбрали. Разница в лабораторном тесте не обязательно переносится на привычную сессию. Даже полезная средняя разница не обещает такой же результат каждому участнику. Для выбора важны также время, сложность и совместимость с восстановлением — их статья могла вообще не измерять.

Условная ситуация: новый способ организации занятий даёт небольшой выигрыш в одном тесте, но требует заметно больше времени. Решение зависит от вашей цели и ограничений; p не взвешивает эту цену за вас.

Чек-лист перед выводом: ① Что измеряли и у кого? ② Каков размер разницы? ③ Насколько широк интервал? ④ Известна ли повторяемость теста? ⑤ Достаточно ли этот исход важен, чтобы менять практику?

Вывод: статистическая совместимость данных с моделью не отвечает сама по себе на вопрос о размере, неопределённости и практической ценности эффекта. Читайте оценку, интервал и контекст вместе. p может быть полезным инструментом, но не решением за читателя.

Какой термин разобрать следующим: «размер эффекта», «доверительный интервал» или «ошибка измерения»? Напишите в комментариях.

Источники: Cochrane Handbook (https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-15) · позиция ASA (https://www.amstat.org/asa/files/pdfs/p-valuestatement.pdf) · исходное исследование повторяемости (https://pubmed.ncbi.nlm.nih.gov/25790087/).

Источник: Telegram Hybrid Athletic Russia, пост 166.