Chi-Quadrat-Unabhängigkeitstest/Herleitung der Teststatistik

Aus MM*Stat

Wechseln zu: Navigation, Suche

Herleitung des Chi-Quadrat-Unabhängigkeitstests

Hypothesen

Die generelle Vorgehensweise bei Unabhängigkeitstests ist im Prinzip wie bei den Parametertests. Es wird eine Teststatistik konstruiert, die die Informationen bei Gültigkeit der Nullhypothese sowie die Informationen aus der Zufallsstichprobe enthält und auf deren Basis eine Aussage über die Nullhypothese möglich ist.

Die Verteilung der Teststatistik muss unter der Nullhypothese (zumindest approximativ) bekannt sein.

Auch bei Unabhängigkeitstests wird stets die Nullhypothese statistisch geprüft und in Abhängigkeit von der Testentscheidung besteht die Möglichkeit, einen Fehler 1. Art mit der Wahrscheinlichkeit bzw. einen Fehler 2. Art mit der Wahrscheinlichkeit zu begehen.

Mit dem vorgegebenen Signifikanzniveau kann die Wahrscheinlichkeit eines Fehlers 1. Art niedrig gehalten werden; die Wahrscheinlichkeit eines Fehlers 2. Art ist dagegen in der Regel nicht bekannt.

Man wird deshalb bestrebt sein, die Nullhypothese abzulehnen, da dann die statistische Sicherheit einer Fehlentscheidung bekannt ist.

Wenn die Zufallsvariablen und in der Grundgesamtheit wirklich unabhängig sind, dann ist zu erwarten, dass diese Tatsache im Prinzip auch in der Stichprobe zu beobachten ist.

Im Prinzip bedeutet dabei, dass Abweichungen zwischen den beobachteten gemeinsamen absoluten Häufigkeiten und den bei Unabhängigkeit erwarteten gemeinsamen absoluten Häufigkeiten in der Regel immer auftreten werden.

Zu entscheiden ist, ob die Abweichungen noch zufallsbedingt sind oder ob es sich um signifikante Abweichungen handelt.

Da stets die Nullhypothese statistisch geprüft wird, muss die Unabhängigkeit zwischen und immer als formuliert werden, um die erwarteten absoluten Häufigkeiten ermitteln zu können.

Große Abweichungen zwischen beobachteten gemeinsamen absoluten Häufigkeiten und den bei Unabhängigkeit erwarteten gemeinsamen absoluten Häufigkeiten sprechen tendenziell gegen die Unabhängigkeit, d.h. man wird die Nullhypothese ablehnen.

Das dem Chi-Quadrat-Unabhängigkeitstest zugrunde liegende Hypothesenpaar enthält die Wahrscheinlichkeiten , , und .

Sind und diskrete Zufallsvariablen, beinhalten diese Wahrscheinlichkeiten, dass und genau eine mögliche Realisation annehmen:

Für eine stetige Zufallsvariable ist die Wahrscheinlichkeit, dass sie einen bestimmten Wert annimmt, jedoch stets Null. Daraus folgt die Notwendigkeit einer Intervallbildung der beobachteten Werte.

Es bedeuten im stetigen Fall:

die Wahrscheinlichkeit, dass die Zufallsvariable einen Wert aus der Klasse und die Zufallsvariable einen Wert aus der Klasse annimmt;

die Wahrscheinlichkeit, dass die Zufallsvariable einen Wert aus der Klasse annimmt (Randwahrscheinlichkeit von ) und

die Wahrscheinlichkeit, dass die Zufallsvariable einen Wert aus der Klasse annimmt (Randwahrscheinlichkeit von ):

,

Um diese Darstellung zu vereinfachen und mit dem diskreten Fall zu vereinheitlichen, werden statt der Klassen repräsentative Klassenwerte (im Allgemeinen die Klassenmitten) und verwendet. und sind die Anzahlen der jeweils gebildeten Klassen.

Es sei jedoch angemerkt, dass auch für eine diskrete Zufallsvariable eine Klassenbildung vorgenommen werden kann, falls es die Problemstellung erfordert.

Teststatistik

Die Tatsache, dass die beobachteten gemeinsamen absoluten Häufigkeiten Zufallsvariablen sind, lässt sich wie folgt zeigen, wobei es keine Rolle spielt, ob und diskret oder stetig sind, so dass nur auf diskrete Zufallsvariablen Bezug genommen wird.

Aus der Grundgesamtheit wird ein Element zufällig gezogen und festgestellt, ob das Wertepaar aufgetreten ist, d.h. ob das Ereignis eingetreten ist oder nicht.

Es gibt somit nur zwei mögliche Ergebnisse des Zufallsexperimentes. Die Wahrscheinlichkeit für das Eintreten des Ereignisses ist und die Wahrscheinlichkeit für das Nichteintreten .

Das Zufallsexperiment wird -mal wiederholt, wobei die einzelnen Versuche unabhängig voneinander (da eine einfache Zufallsstichprobe vorausgesetzt wird) und damit die Wahrscheinlichkeiten konstant sind. Es liegt somit ein Bernoulli-Experiment vor.

Bei -maliger Durchführung der Versuche interessiert die Gesamtzahl des Eintretens des Ereignisses , d.h. die absolute Häufigkeit des Wertepaares in der Stichprobe.

Diese Häufigkeit kann von Stichprobe zu Stichprobe unterschiedlich sein, so dass

eine diskrete Zufallsvariable ist, die die Werte annehmen kann.

Die Zufallsvariable ist binomialverteilt mit den Parametern und .

Der Erwartungswert von ist .

Bei Gültigkeit der Nullhypothese, d.h. bei stochastischer Unabhängigkeit von und , ergibt sich nach dem Multiplikationssatz bei Unabhängigkeit, dass die gemeinsame Wahrscheinlichkeit das Produkt der beiden Randwahrscheinlichkeiten und ist, d.h. .

Für die bei Unabhängigkeit erwarteten gemeinsamen absoluten Häufigkeiten resultiert:

.

Diese Herleitung gilt für alle und gleichermaßen.

Die Teststatistik basiert auf dem Vergleich der in der Stichprobe beobachteten und der bei Gültigkeit der Nullhypothese erwarteten gemeinsamen absoluten Häufigkeiten, wobei letztere wegen der unbekannten Wahrscheinlichkeiten aus der Stichprobe zu schätzen sind: .

Damit sich positive und negative Abweichungen nicht aufheben, erfolgt eine Quadrierung: .

Mit der Division durch wird der unterschiedlichen Bedeutung der Abweichungen Rechnung getragen.

Eine Differenz fällt bei stärker ins Gewicht als bei .

Durch die Summation der normierten Abweichungen über alle Paare ergibt sich eine Größe für die in der Stichprobe insgesamt enthaltenen Abweichungen, die die adäquate Teststatistik darstellt:

Da die Zufallsvariablen sind, ist auch eine Zufallsvariable.

Bei Gültigkeit der Nullhypothese, hinreichend großem Stichprobenumfang und Einhaltung der Approximationsbedingung ist die Teststatistik approximativ Chi-Quadrat-verteilt mit Freiheitsgraden.

Ist die Approximationsbedingung nicht erfüllt, müssen vor der Anwendung des Tests benachbarte Werte bzw. Klassen zusammengefasst werden, was dann auch im diskreten Fall mit einer Klassenbildung verbunden ist.

und sind die Anzahl der verbliebenen Werte bzw. Klassen nach einer eventuell notwendigen Zusammenfassung

Anzahl der Freiheitsgrade

Insgesamt sind Wahrscheinlichkeiten in der zweidimensionalen Verteilung der Zufallsvariablen und enthalten.

Ein Freiheitsgrad geht grundsätzlich verloren, weil die Wahrscheinlichkeiten untereinander nicht unabhängig sind.

Wegen folgt, dass jede Wahrscheinlichkeit durch die anderen Wahrscheinlichkeiten bestimmt ist.

wäre somit die Anzahl der Freiheitsgrade, wenn sich bei Gültigkeit der Nullhypothese alle Wahrscheinlichkeiten aus den (bekannten) Randwahrscheinlichkeiten gemäß bestimmen ließen.

Die Randwahrscheinlichkeiten und sind jedoch unbekannt und müssen aus der Stichprobe geschätzt werden, wodurch sich die Anzahl der Freiheitsgrade weiter verringert.

Die Randverteilung von enthält Randwahrscheinlichkeiten . Wegen sind nur Wahrscheinlichkeiten unbekannt und zu schätzen.

Die Randverteilung von enthält Randwahrscheinlichkeiten . Wegen sind nur Wahrscheinlichkeiten unbekannt und zu schätzen.

Insgesamt sind damit Randwahrscheinlichkeiten aus der Stichprobe zu schätzen. Somit folgt für die Anzahl der Freiheitsgrade:

Da in der Teststatistik die Terme nur positive Werte annehmen können, nimmt die Teststatistik ebenfalls nur positive Werte an.

Große Abweichungen führen zu großen Werten von .

Somit führen nur große Werte von zur Ablehnung der , während kleine Werte von nicht gegen die Nullhypothese sprechen. Der Chi-Quadrat-Unabhängigkeitstest ist somit ein rechtsseitiger Test.