Калькулятор проверки гипотез по z и t

Используйте t-критерий всякий раз, когда стандартное отклонение получено из той же выборки, которую вы проверяете, — а это почти всегда. Берите z только тогда, когда отклонение действительно известно заранее для всей совокупности, из долгой истории того же измерения, а не из этих наблюдений.

Больше всего это важно на малых выборках. При одной и той же статистике 2,10 и двустороннем критерии распределение Стьюдента при пяти наблюдениях даёт 0,1037, а нормальное — 0,0357: одно называет это находкой на уровне 5%, другое нет. Согласие наступает примерно с двадцати наблюдений, и даже при ста они всё ещё расходятся в третьем знаке.

Это то, как часто различие не меньше вашего возникало бы по одной лишь случайности в мире, где опорное значение и есть истинное среднее. И только.

Это не вероятность того, что опорное значение истинно, и не вероятность того, что ваш результат был случайностью. Оба прочтения распространены и оба неверны: расчёт начинается с допущения, что опорное значение истинно, а потому никогда не скажет, насколько вероятным было само это допущение.

Потому что критерий измеряет, насколько хорошо вы измерили, а не насколько велико различие. Стандартная ошибка убывает как корень из числа наблюдений, поэтому то же самое различие даёт большую статистику всякий раз, когда выборка растёт.

Различие в четверть стандартного отклонения даёт 0,4495 при десяти наблюдениях, 0,0576 при шестидесяти, 0,0141 при ста и 0,0005 при двухстах. Само различие не изменилось ни разу. Поэтому его размер, посчитанный в стандартных отклонениях, стоит на этой странице рядом с ответом.

Да, и на больших выборках это происходит постоянно. Значимо означает, что различие трудно объяснить случайностью, а не что оно достаточно велико, чтобы действовать.

Лекарство, снижающее давление на сотую долю пункта, окажется значимым, если испытать его на достаточном числе людей, и бесполезным в любом случае. Сначала читайте размер различия, и только потом p-значение.

5% — общепринятая условность в большинстве областей, но это условность, а не закон, и выбирать её надо до того, как вы увидели данные, а не после.

Понижайте его, когда ложная тревога дорога, — например, в решении, которое трудно отменить. Повышайте, когда хуже пропустить настоящий эффект, — например, в дешёвом отсеве, который позже перепроверят.

Он кладёт весь допуск на одну сторону, поэтому для объявления различия в названном вами направлении нужно меньше свидетельств, а в противоположном — вообще никаких.

Это работает, только если вы называете направление до того, как посмотрели. Решение проверять лишь «больше» потому, что среднее вышло выше, — самый старый способ превратить подбрасывание монеты в открытие, и он удваивает ту частоту ложных тревог, на которую вы рассчитываете.