どの統計検定を使うべきか

まず図にしてください。ヒストグラムや箱ひげ図は、どんな検定よりも早く答えを出します。大事なのは完全な正規性ではなく、形がほぼ対称で極端な外れ値がないことです。

t 検定は標本が大きくなるほど寛容になります。100 例の軽い歪みはめったに問題になりませんが、同じ歪みが 8 例なら問題です。迷ったら順位に基づく方法も実行してください。両者が一致すれば、選択は結果に影響していません。

パラメトリック検定は値そのものを使い、たいていは正規曲線に近い形を仮定します。順位に基づく検定は値を捨てて順序だけを残すため、外れ値が効かなくなります。

代償として、順位に基づく検定はやや別の問いに答えており、パラメトリック検定の仮定が本当に成り立つ場合には検出力が落ちます。どちらが安全な既定というわけではなく、違う状況への答えです。

いいえ。p 値は結果が偶然では説明しにくいかどうかに答えます。標本が十分大きければ、ごく小さな差でも偶然では説明しにくくなります。

効果量を併記し、可能なら信頼区間も添えてください。大きさは差が重要かどうかを読み手に伝えますが、p 値はそれがおそらくノイズではないと言うだけです。

いいえ、そのつもりもありません。あなたの問いの形に合う選択を示し、使う前に確認すべき仮定を伝えるだけです。

実データにはフローチャートに見えないものが伴います。欠測値、複数回測定された対象、大きさが極端に違うグループ、結果を見てから選ばれた変数。どれも答えを変えうるものです。