Rechner für Hypothesentests mit z und t

Verwenden Sie den t-Test immer dann, wenn die Standardabweichung aus derselben Stichprobe stammt, die Sie prüfen — also fast immer. Verwenden Sie z nur, wenn die Abweichung wirklich vorab für die gesamte Grundgesamtheit bekannt ist, aus einer langen Historie derselben Messung und nicht aus diesen Beobachtungen.

Am meisten zählt das bei kleinen Stichproben. Bei derselben Statistik von 2,10 und zweiseitigem Test liefert die t-Verteilung bei fünf Beobachtungen 0,1037, die Normalverteilung 0,0357: Die eine nennt es bei 5% einen Befund, die andere nicht. Ab etwa zwanzig Beobachtungen stimmen beide überein, und selbst bei hundert unterscheiden sie sich noch in der dritten Nachkommastelle.

Es ist, wie oft ein mindestens so großer Unterschied wie Ihrer allein durch Zufall aufträte, in einer Welt, in der der Referenzwert der wahre Mittelwert ist. Mehr nicht.

Er ist weder die Wahrscheinlichkeit, dass der Referenzwert zutrifft, noch die Wahrscheinlichkeit, dass Ihr Ergebnis Zufall war. Beide Lesarten sind verbreitet und beide falsch, denn die Rechnung beginnt mit der Annahme, der Referenzwert sei wahr — sie kann also nie sagen, wie wahrscheinlich diese Annahme war.

Weil der Test misst, wie gut Sie gemessen haben, nicht wie groß der Unterschied ist. Der Standardfehler schrumpft mit der Wurzel aus der Zahl der Beobachtungen, also erzeugt derselbe Unterschied eine größere Statistik, sooft die Stichprobe wächst.

Ein Unterschied von einer Viertel Standardabweichung ergibt bei zehn Beobachtungen 0,4495, bei sechzig 0,0576, bei hundert 0,0141 und bei zweihundert 0,0005. Der Unterschied hat sich kein einziges Mal geändert. Deshalb steht seine Größe, in Standardabweichungen gezählt, auf dieser Seite neben der Antwort.

Ja, und bei großen Stichproben passiert das ständig. Signifikant heißt, dass sich der Unterschied schwer durch Zufall erklären lässt, nicht dass er groß genug ist, um zu handeln.

Ein Medikament, das den Blutdruck um ein Hundertstel Punkt senkt, wird signifikant, wenn Sie es an genügend Menschen prüfen — und ist so oder so nutzlos. Lesen Sie zuerst die Größe des Unterschieds und erst dann den p-Wert.

5% ist in den meisten Fächern die Konvention, aber es ist eine Konvention und kein Gesetz, und es sollte gewählt werden, bevor Sie die Daten sehen, nicht danach.

Senken Sie es, wenn ein Fehlalarm teuer ist, etwa bei einer schwer rückgängig zu machenden Entscheidung. Erhöhen Sie es, wenn das Übersehen eines echten Effekts der schlimmere Fehler ist, etwa bei einer billigen Vorauswahl, die später erneut geprüft wird.

Er legt die gesamte Toleranz auf eine Seite, braucht also weniger Belege, um einen Unterschied in der von Ihnen genannten Richtung festzustellen, und gar keine in der Gegenrichtung.

Das gilt nur, wenn Sie die Richtung nennen, bevor Sie hinsehen. Nur nach oben zu testen, weil der Mittelwert zufällig höher ausfiel, ist die älteste Art, einen Münzwurf in einen Befund zu verwandeln, und sie verdoppelt die Fehlalarmrate, die Sie zu haben glauben.