어떤 통계 검정을 써야 할까

먼저 그려 보세요. 히스토그램이나 상자 수염 그림이 어떤 검정보다 빨리 답을 줍니다. 중요한 것은 완벽한 정규성이 아니라 형태가 대체로 대칭이고 극단적인 이상치가 없는지입니다.

t 검정은 표본이 커질수록 관대해집니다. 백 개일 때의 가벼운 비대칭은 거의 문제가 되지 않지만, 여덟 개일 때의 같은 비대칭은 문제입니다. 헷갈리면 순위 기반 방법도 함께 돌려 보세요. 둘이 일치하면 선택은 상관없었던 것입니다.

모수 검정은 값 자체를 사용하며 보통 정규곡선에 가까운 형태를 가정합니다. 순위 기반 검정은 값을 버리고 순서만 남기므로 이상치가 더 이상 문제가 되지 않습니다.

대가는 순위 기반 검정이 약간 다른 질문에 답하며, 모수 검정의 가정이 실제로 성립할 때는 검정력이 낮다는 점입니다. 어느 쪽도 더 안전한 기본값이 아니라, 서로 다른 상황에 대한 답입니다.

아니요. p 값은 결과가 우연으로 설명하기 어려운지에 답합니다. 표본이 충분히 크면 아주 작은 차이도 우연으로 설명하기 어려워집니다.

효과크기를 함께 보고하고, 가능하면 신뢰구간도 덧붙이세요. 크기는 그 차이가 중요한지를 알려주지만, p 값은 그것이 아마 잡음이 아니라는 말만 합니다.

아니요, 그럴 생각도 없습니다. 당신 질문의 형태에 맞는 선택을 가리키고, 쓰기 전에 확인할 가정을 알려줄 뿐입니다.

실제 자료에는 순서도가 볼 수 없는 것들이 따라옵니다. 결측값, 여러 번 측정된 대상, 크기가 크게 다른 그룹, 결과를 본 뒤에 고른 변수. 그중 어느 것이든 답을 바꿀 수 있습니다.