Statistische Signifikanz

aus Wikipedia, der freien Enzyklopädie

Du hast neue Nachrichten (Unterschied zur vorletzten Version).

In der Statistik heißen Unterschiede oder Zusammenhänge signifikant, wenn die Wahrscheinlichkeit gering ist, dass sie durch Zufall zustande gekommen sind. Die Überprüfung statistischer Signifikanz geschieht unter Anwendung von dem Datenmaterial angepassten Signifikanztests, die eine Abschätzung der Irrtumswahrscheinlichkeit (des Signifikanzniveaus) erlauben. Das Quantil der maximal zulässigen geschätzten Irrtumswahrscheinlichkeit wird a priori festgelegt und oft mit $α$ (griech.: alpha) bezeichnet, beispielsweise $α = 0,05$ für 5% maximal zulässige Irrtumswahrscheinlichkeit. Je geringer diese, desto höher die Informationsqualität. Die Gegensätzliche Vertrauenswahrscheinlichkeit entspricht dann $1 - a l p h a$

Die statistische Signifikanz beschreibt den Informationsgehalt eines Ereignisses bzw. einer Messung.

Inhaltsverzeichnis

1 Beispiele
2 Irrtumswahrscheinlichkeit und Signifikanzniveau
3 Aussagewert und Power (Beispiel klinische Forschung)
4 Irrige Überzeugungen
5 Wissenschaftliches Publizieren
6 Verwandte Themen
7 Literatur
8 Quellen
9 Weblinks

[Bearbeiten] Beispiele

Bei einer Umfrage wird festgestellt, dass 55% der Frauen zu Partei A tendieren, während von 53% der Männer Partei B bevorzugt wird. Gibt es tatsächlich einen Unterschied bei der politischen Überzeugung von Männern und Frauen oder sind nur zufällig bei den Frauen viele Anhängerinnen von Partei A und bei den Männern von Partei B befragt worden?
Mit einem neuen Medikament ist die Heilungsrate höher als ohne Medikament. Ist das neue Medikament wirklich wirksam oder sind nur zufällig besonders viele Patienten ausgewählt worden, die auch von alleine wieder gesund geworden wären?
In der Umgebung einer Chemiefabrik tritt eine bestimmte Krankheit besonders häufig auf. Ist das Zufall oder gibt es einen Zusammenhang?

[Bearbeiten] Irrtumswahrscheinlichkeit und Signifikanzniveau

In den oben genannten Beispielen kann man sich nie hundertprozentig sicher sein, dass der Zufall die Ergebnisse nicht verfälscht hat. Man kann aber berechnen, wie wahrscheinlich es ist, dass die gemessenen Ergebnisse nur aufgrund eines ungünstigen Zufalls auftreten. Dieser zufällige Fehler wird allgemein als Fehler 1. Art (synonym: $α$ -Fehler) und die bedingte Wahrscheinlichkeit seines Auftretens unter der Voraussetzung, dass die Nullhypothese richtig ist, als Irrtumswahrscheinlichkeit bezeichnet.

Es hat sich eingebürgert, die obere Grenze für die Irrtumswahrscheinlichkeit, die man noch zu akzeptieren bereit ist, auf 5 Prozent festzulegen. Diese Obergrenze heißt Signifikanzniveau.

Die Wahl des Wertes 5% ist wie folgt motiviert: eine normalverteilte Zufallsgröße nimmt nur mit einer Wahrscheinlichkeit von weniger als 5% einen Wert an, der sich vom Erwartungswert um mehr als die zweifache Standardabweichung unterscheidet. Bei einer Irrtumswahrscheinlichkeit von kleiner oder gleich 5% spricht man von Signifikanz. Das bedeutet aber in der Praxis, dass eine von 20 Untersuchungen, bei denen die Nullhypothese richtig ist, zu dem Schluss kommt, sie sei falsch. Wählt man als Grenze für die Irrtumswahrscheinlichkeit den Wert 0,3%, so spricht man von einem hochsignifikanten Ergebnis; die Motivation für den Wert 0,3% ist ähnlich: Eine normalverteilte Zufallsgröße nimmt nur mit einer Wahrscheinlichkeit von weniger als 0,3% einen Wert an, der sich vom Erwartungswert um mehr als die dreifache Standardabweichung unterscheidet.

Auch bei tatsächlich oder vorgeblich statistisch signifikanten Aussagen ist immer eine kritische Überprüfung der Versuchsanordnung und -durchführung notwendig. Nur selten genügen wissenschaftliche Untersuchungen den mathematischen Anforderungen an einen aussagefähigen statistischen Test. Bei vielen Studien steht der Wunsch des oder der Studiendurchführenden (z.B. im Rahmen einer Doktorarbeit) nach einem 'signifikanten' Ergebnis bei der Studiendurchführung zu sehr im Vordergrund - Untersuchungen, bei denen die Nullhypothese bestätigt wird, werden nämlich gemeinhin als uninteressant und überflüssig angesehen. Als Hinweise auf die Qualität einer Studie können im medizinischen Umfeld die Eigenschaften "randomisiert", "kontrolliert" und "doppelblind" gelten. Ohne diese sind Aussagen etwa zur Wirksamkeit von Therapien mit äußerster Vorsicht zu behandeln. Sehr schwierig und problematisch ist insbesondere die Interpretation signifikanter Korrelationen in retrospektiven Studien. Zu bedenken ist darüberhinaus stets, dass aus statistisch signifikanten Korrelationen oft fälschlich auf eine vermeintliche Kausalität geschlossen wird (Beispiel: Zwischen 1960 und 1990 korrelierte die Zahl der Störche in Deutschland signifikant mit der Geburtenrate, da beide Zahlen stark gesunken sind, dennoch ist die Kausalität zumindest fraglich).

[Bearbeiten] Aussagewert und Power (Beispiel klinische Forschung)

Statistisch signifikante Studien können trotzdem einen geringen praktischen Aussagewert haben.

Studien mit großer Fallzahl führen aufgrund der hohen statistischen Power oft zu hoch signifikanten Ergebnissen. Solche Studien können trotzdem einen geringen Aussagewert haben, wenn die Größe des beobachteten Effekts (oder der gemessene Parameter) nicht klinisch relevant ist. Statistische Signifikanz ist also ein notwendiges, aber noch kein hinreichendes Kriterium für eine praktisch auch relevante – d. h. hier: ausreichend starke – Wirkung eines Medikaments. Für die Beurteilung der Relevanz ist die Effektstärke (Effektgröße) ein wichtiges Hilfsmittel.

Weitere kritische Prüfsteine vom methodologischen Gesichtspunkt aus sind:

die Korrektheit der statistischen Modellannahmen (beispielsweise die Verteilungsannahme)

die Anzahl der durchgeführten statistischen Tests (bei mehreren Tests, von welchen nicht einer eindeutig als primärer Test gekennzeichnet ist, sollte eine Adjustierung des Signifikanzniveaus durchgeführt werden)

die prospektive Definition der Analysemethoden vor der "Entblindung" doppelblinder Studien.

[Bearbeiten] Irrige Überzeugungen

Entgegen weit verbreiteter Meinung ist Signifikanz nicht mit der Irrtumswahrscheinlichkeit gleichzusetzen^[1]. Im Output mancher Statistikprogramme (z. B. SPSS) wird die Irrtumswahrscheinlichkeit, also der p-Wert, als "Sig." oder "Signifikanz" bezeichnet, was zu Missverständnissen führen kann. Richtig ist hingegen: Signifikanz liegt vor, wenn die Irrtumswahrscheinlichkeit kleiner oder gleich dem Signifikanzniveau ist.

Nicht zutreffend sind die Annahmen, das Signifikanzniveau oder der beobachtete p-Wert lege fest

die Effektgröße
die Wahrscheinlichkeit, dass die Nullhypothese wahr oder falsch ist
die Wahrscheinlichkeit, dass die Alternativhypothese wahr oder falsch ist
den Grad der Zuversicht, dass das Ergebnis wiederholbar ist^[2].

[Bearbeiten] Wissenschaftliches Publizieren

Vielfach wurde die Signifikanz als Maß dafür genommen, ob ein wissenschaftlicher Artikel veröffentlicht werden sollte. Dies führt jedoch zum sogenannten "Publikationsbias", da mögliche Zufallsergebnisse nicht durch Publikation der gesamten Bandbreite der durchgeführten Untersuchungen relativiert werden können.

Die Herausgeber der Zeitschrift für Sozialpsychologie erklärten hingegen ausdrücklich, dass die Annahme von Artikeln in ihrer Zeitschrift nicht von der Signifikanz der Ergebnisse abhängt, da die Redaktion einen Kontrapunkt zu dem Ausbreiten des Fehlers 1. Art schaffen wolle. In der Publikation von Ergebnissen klinischer Studien sind derzeit Anstrengungen durch internationale Fachzeitschriften wie auch der forschenden Institutionen (insbesondere Pharmaunternehmen) im Gange, öffentlich zugängliche Datenbanken, in welchen verbindlich alle durchgeführten Studien sowie ihre prospektiv definierten Zielparameter enthalten sind, zu schaffen. Dadurch sollen die Komplettheit der Veröffentlichung auch unangenehmer Resultate überprüfbar und eine Einschätzung des Publikationsbias möglich werden.

[Bearbeiten] Verwandte Themen

Durch den F-Test lässt sich die statistische Signifikanz des Unterschiedes zweier Varianzen feststellen.
t-Test
Operationscharakteristik

[Bearbeiten] Literatur

Hans-Peter Beck-Bornholdt, Hans-Hermann Dubben: Der Hund, der Eier legt. Rowohlt 2001, ISBN 3499611546, (populärwissenschaftliche Darstellung)
Jürgen Bortz: Statistik für Human- und Sozialwissenschaftler. (Springer 2004), ISBN 354021271X
Peter Sedlmeier, Jenseits des Signifikanztest-Rituals: Ergänzungen und Alternativen http://www.dgps.de/fachgruppen/methoden/mpr-online/issue1/art3/sedlmeier.pdf