7Signifikanzniveau und Signifikanztest

Empirischer, als den kritischen Wert selbst festzulegen, ist es, sich eine Irrtumswahrscheinlichkeit zu überlegen, die man verkraften kann und den kritischen Wert zu dieser Irrtumswahrscheinlichkeit zu bestimmen. Sagen wir, du möchtest mit deinem telepathischen Talent in eine Talkshow. Das Produktionsteam könnte jetzt vorgeben: "Du darfst nur in der Show auftreten, wenn die Wahrscheinlichkeit dafür, dass wir irrtümlich davon ausgehen, dass du nicht rätst, bei 20 Versuchen höchstens $5\%$ beträgt."

Die $5\%$ stehen dabei für den $\alpha$-Fehler (Fehler 1. Art) und beschreiben die Wahrscheinlichkeit dafür, dass die Nullhypothese $H_0$ abgelehnt wird, obwohl sie gilt. Gibt man den $\alpha$-Fehler fest vor, wie es beim Signifikanztest immer der Fall ist, wird er häufig auch als Irrtumswahrscheinlichkeit oder Signifikanzniveau bezeichnet.

Je kleiner man das Signifikanzniveau wählt, desto unwahrscheinlicher ist es, dass man mit seiner Hypothese falsch liegt. Allerdings ist der Test dann eventuell nicht brauchbar, weil man zum Beispiel zu wenig Risiken eingeht.