Chi-Quadrat-Unabhängigkeitstest

Grundbegriffe

Chi-Quadrat-Unabhängigkeitstest

Bei einem Chi-Quadrat-Unabhängigkeitstest wird geprüft, ob zwei Zufallsvariablen stochastisch unabhängig sind. Dieser statistische Test gehört zu den nichtparametrischen Tests.

An das Skalenniveau der Zufallsvariablen werden keine Voraussetzungen gestellt.

Es sei allgemein angenommen, dass zwei Zufallsvariablen $X\;$ und $Y\;$ gleichzeitig an $n$ statistischen Einheiten ($i=1,\ldots ,n$) beobachtet werden, wobei die Unabhängigkeit der Stichprobenziehungen vorausgesetzt wird (einfache Zufallsstichprobe).

Sind $X\;$ und $Y\;$ diskrete Zufallsvariablen (darunter werden im weiteren summarisch nominalskalierte, ordinalskalierte sowie diskrete Zufallsvariablen mit sehr wenigen Ausprägungen verstanden), nehmen sie die Stichprobenrealisationen $x_{k}(k=1,\ldots ,K)$ und $y_{j},\;(j=1,\ldots ,J)$ an.

Sind $X\;$ und $Y\;$ stetige Zufallsvariablen (darunter werden im weiteren auch die diskreten Zufallsvariablen mit sehr vielen bzw. unendlich vielen Ausprägungen, d.h. die genannten quasi-stetigen Zufallsvariablen, gefasst), muss eine Intervallbildung der beobachteten Werte in disjunkte, aneinander angrenzende Klassen erfolgen.

$x_{k},\;(k=1,\ldots ,K)$ und $y_{j},\;(j=1,\ldots ,J)$ sind dann repräsentative Klassenwerte (im Allgemeinen die Klassenmitten) und $K$ und $J$ die Anzahl der gebildeten Klassen.

Eine geeignete Darstellungsform für die beobachtete gemeinsame Häufigkeitsverteilung der zwei Zufallsvariablen ist die zweidimensionale Häufigkeitstabelle (auch als Kontingenztabelle oder Kreuztabelle bezeichnet).

Zweidimensionale Häufigkeitstabelle:

$x\quad y$		$y_{1}$	$\cdots$	$y_{j}$	$\cdots$	$y_{J}$	RV $x$
$x_{1}$		$h_{11}$	$\cdots$	$h_{1j}$	$\cdots$	$h_{1J}$	$h_{1\bullet }$
$\vdots$		$\vdots$	$\cdots$	$\vdots$	$\cdots$	$\vdots$	$\vdots$
$x_{k}$		$h_{k1}$	$\cdots$	$h_{kj}$	$\cdots$	$h_{kJ}$	$h_{k\bullet }$
$\vdots$		$\vdots$	$\cdots$	$\vdots$	$\cdots$	$\vdots$	$\vdots$
$x_{K}$		$h_{K1}$	$\cdots$	$h_{Kj}$	$\cdots$	$h_{KJ}$	$h_{K\bullet }$
RV $x$		$h_{\bullet 1}$	$\cdots$	$h_{\bullet j}$	$\cdots$	$h_{\bullet J}$	$h_{\bullet \bullet }=n$

$\,h_{kj}$ bezeichnet die absolute Häufigkeit für das beobachtete Wertepaar $\left(x_{k},y_{j}\right)$, d.h. dass $X\;$ den Wert $x_{k}$ bzw. einen Wert aus der $k$-ten Klasse und $Y\;$ gleichzeitig den Wert $y_{j}$ bzw. einen Wert aus der $j$-ten Klasse angenommen hat:

$h_{kj}=h\left(\left\{X=x_{k}\right\}\cap \left\{Y=y_{j}\right\}\right)\;;\quad k=1,\ldots ,K,\quad j=1,\ldots ,J$

Die letzte Spalte enthält die beobachtete Randverteilung (RV) von $X\;$ mit den absoluten Randhäufigkeiten $h_{k\bullet }=h\left(X=x_{k}\right)\;;k=1,\ldots ,K$.

$h_{k\bullet }$ gibt an, wie oft $X\;$ den Wert $x_{k}$ bzw. einen Wert aus der $k$-ten Klasse angenommen hat, wobei es gleichgültig ist, welchen Wert $Y\;$ aufweist.

Die letzte Zeile weist die beobachtete Randverteilung von $Y\;$ mit den absoluten Randhäufigkeiten $h_{j\bullet }=h\left(Y=y_{j}\right)\;;j=1,\ldots ,J$ aus.

$h_{j\bullet }$ gibt an, wie oft $Y\;$ den Wert $y_{j}$ bzw. einen Wert aus der $j$-ten Klasse angenommen hat, wobei es gleichgültig ist, welchen Wert $X\;$ aufweist.

Für die zweidimensionale Häufigkeitstabelle gelten folgende Beziehungen:

$h_{k\bullet }=\sum _{j=1}^{J}h_{kj}\;;\quad k=1,\ldots ,K;$

$h_{\bullet j}=\sum _{k=1}^{K}h_{kj}\;;\quad j=1,\ldots ,J;$

$h_{\bullet \bullet }=\sum _{k=1}^{K}h_{k\bullet }=\sum _{j=1}^{J}h_{\bullet j}=\sum _{k=1}^{K}\sum _{j=1}^{J}h_{kj}=n$.

Die Nullhypothese lautet beim Chi-Quadrat-Unabhängigkeitstest stets, dass die Zufallsvariablen $X\;$ und $Y\;$ in der Grundgesamtheit stochastisch unabhängig sind. Die Alternativhypothese enthält das logische Pendant.

$H_{0}$:$X\;$ und $Y\;$ sind stochastisch unabhängig.

$H_{1}$:$X\;$ und $Y\;$ sind nicht stochastisch abhängig.

Wenn die Nullhypothese gilt, dann ergibt sich nach dem Multiplikationssatz bei Unabhängigkeit

$P\left(X=x_{k}\right\}\cap \left\{Y=y_{j}\right)=P\left(X=x_{k}\right)\cdot P\left(Y=y_{j}\right)=p_{k\bullet }\cdot p_{\bullet j}=p_{kj}$

Dabei bezeichnen:

$p_{kj}$ die Wahrscheinlichkeit, dass die Zufallsvariable $X\;$ den Wert $x_{k}$ bzw. einen Wert aus der $k$-ten Klasse und $Y\;$ gleichzeitig den Wert $y_{j}$ bzw. einen Wert aus der $j$-ten Klasse annimmt;

$p_{k\bullet }$ die Wahrscheinlichkeit, dass die Zufallsvariable $X\;$ den Wert $x_{k}$ bzw. einen Wert aus der $k$-ten Klasse annimmt (Randwahrscheinlichkeit von $X\;$) und

$p_{\bullet j}$ die Wahrscheinlichkeit, dass die Zufallsvariable $Y\;$ den Wert $Y_{i}$ bzw. einen Wert aus der $j$-ten Klasse annimmt (Randwahrscheinlichkeit von $Y\;$).

Das Hypothesenpaar kann somit konkretisiert werden:

$H_{0}:\;p_{kj}=p_{k\bullet }\cdot p_{\bullet j}\quad$ für alle Paare $\left(k,j\right)$

$H_{1}:p_{kj}\neq p_{k\bullet }\cdot p_{\bullet j}\quad$ für mindestens ein Paar $\left(k,j\right)$

Das Signifikanzniveau $\alpha$ und der Stichprobenumfang $n$ sind vor der Testdurchführung festzulegen.

Teststatistik des Chi-Quadrat-Unabhängigkeitstests

Für die Bestimmung der Teststatistik wird von den absoluten Häufigkeiten ausgegangen. Der Test basiert auf dem Vergleich der in der Stichprobe beobachteten und der bei Gültigkeit der Nullhypothese erwarteten gemeinsamen absoluten Häufigkeiten.

Für die konkrete Stichprobe sind die gemeinsamen absoluten Häufigkeiten

$h_{kj}\;(k=1,\ldots ,K,\;j=1,\ldots J)$

in den Zellen der zweidimensionalen Häufigkeitstabelle gegeben. Da diese absoluten Häufigkeiten $h_{kj}$ Ergebnis eines Zufallsexperimentes sind, können sie von Stichprobe zu Stichprobe unterschiedliche Werte annehmen, d.h., sie sind Realisationen von Zufallsvariablen $H_{kj}\;$.

Wenn die Nullhypothese gilt, ergeben sich die erwarteten gemeinsamen absoluten Häufigkeiten als $e_{kj}=n\cdot p_{k\bullet }\cdot p_{\bullet j}$.

Da die gemeinsamen Wahrscheinlichkeiten $p_{kj}$ und die Randwahrscheinlichkeiten $p_{k\bullet }$ und $p_{\bullet j}$ für alle $k$ und $j$ unbekannt sind, müssen sie aus der Stichprobe geschätzt werden.

Erwartungstreue und konsistente Punktschätzungen für $p_{k\bullet }$ und $p_{\bullet j}$ sind die relativen Randhäufigkeiten $f_{k\bullet }={\frac {h_{k\bullet }}{n}}$ und $f_{\bullet j}={\frac {h_{\bullet j}}{n}}$.

Das beinhaltet, dass von festen Randhäufigkeiten der zweidimensionalen Häufigkeitstabelle ausgegangen wird. Damit erhält man Schätzungen für die unter $H_{0}$ erwarteten gemeinsamen absoluten Häufigkeiten:

${\widehat {e}}_{kj}=n\cdot f_{k\bullet }\cdot f_{\bullet j}=n\cdot {\frac {h_{k\bullet }}{n}}\cdot {\frac {h_{\bullet j}}{n}}={\frac {h_{k\bullet }\cdot h_{\bullet j}}{n}}$

Der Vergleich zwischen den in der Stichprobe beobachteten und den bei Gültigkeit der Nullhypothese erwarteten gemeinsamen absoluten Häufigkeiten baut auf den Differenzen $H_{kj}-{\widehat {e}}_{kj}\;(k=1,\ldots ,K;\;j=1,\ldots J)$ auf.

Eine summarische Größe, die die Abweichung von der Nullhypothese bewertet, ist die Teststatistik

$V=\sum _{k=1}^{K}\sum _{j=1}^{J}{\frac {\left(H_{kj}-{\widehat {e}}_{kj}\right)^{2}}{{\widehat {e}}_{kj}}}$

Bei Gültigkeit der Nullhypothese ist die Teststatistik $V\;$ approximativ Chi-Quadrat-verteilt mit $f=(K-1)\cdot (J-1)$ Freiheitsgraden.

Die Approximation an die Chi-Quadrat-Verteilung ist hinreichend, wenn ${\widehat {e}}_{kj}\geq 5$ für alle $k,\;j$ gilt.

Ist diese Bedingungen nicht erfüllt, müssen vor der Anwendung des Tests benachbarte Werte bzw. Klassen zusammengefaßt werden. $K$ und $J$ sind die Anzahlen der verbliebenen Werte bzw. Klassen nach einer eventuell notwendigen Zusammenfassung.

Der kritische Wert $c$ wird für $P(V\leq c)=1-\alpha$ und die Anzahl der Freiheitsgrade $f$ aus der Tabelle der Verteilungsfunktion der Chi-Quadrat-Verteilung entnommen.

Entscheidungsbereiche des Chi-Quadrat-Unabhängigkeitstests

Die Entscheidungsbereiche sind:

Ablehnungsbereich der $H_{0}:\;\left\{v|v>\chi _{1-\alpha ;(K-1)\cdot \left(J-1\right)}^{2}\right\}$

Nichtablehnungsbereich der $H_{0}:\;\left\{v|v\leq \chi _{1-\alpha ;(K-1)\cdot \left(J-1\right)}^{2}\right\}$

Die Wahrscheinlichkeit, dass die Teststatistik $V\;$ eine Realisation aus dem Ablehnungsbereich der $H_{0}$ annimmt, entspricht dem vorgegebenen Signifikanzniveau $\alpha =P(V>\chi _{1-\alpha ;f}^{2}|H_{0})$.

Die Wahrscheinlichkeit, dass die Teststatistik $V\;$ eine Realisation aus dem Nichtablehnungsbereich der $H_{0}$ annimmt, ist $P(V\leq \chi _{1-\alpha ;f}^{2}|H_{0})=1-\alpha$.

Nichtablehnungsbereich der $H_{0}$ | Ablehnungsbereich der $H_{0}$

Prüfwert des Chi-Quadrat-Unabhängigkeitstests

Wenn die Zufallsstichprobe vom Umfang $n$ gezogen wurde, können die absoluten Häufigkeiten $h_{kj}$ für alle beobachteten Wertepaare $\left(x_{k},y_{j}\right)$ ermittelt, daraus die beobachteten Randhäufigkeiten für $X\,$ und $Y\;$ bestimmt und die erwarteten absoluten Häufigkeiten ${\widehat {e}}_{kj}$ berechnet werden.

Ist die Approximationsbedingung nicht erfüllt, müssen Werte bzw. Klassen geeignet zusammengefaßt und die Häufigkeiten $h_{kj}$, $h_{k\bullet }$, $h_{\bullet j}$ und ${\widehat {e}}_{kj}$ erneut bestimmt werden.

Einsetzen von $h_{kj}$ und für alle $k,\;j$ in die Teststatistik führt zu einem Prüfwert $v$.

Entscheidungssituationen des Chi-Quadrat-Unabhängigkeitstests

Wenn $v$ in den Ablehnungsbereich der $H_{0}$ fällt, wird die Nullhypothese auf dem Signifikanzniveau $\alpha$ und basierend auf der Zufallsstichprobe vom Umfang $n$ abgelehnt $({\mbox{''}}H_{1}{\mbox{''}})$.

Es konnte statistisch gezeigt werden, dass die Zufallsvariablen $X\;$ und $Y\;$ nicht stochastisch unabhängig sind.

Bei dieser Entscheidung besteht die Möglichkeit einen Fehler 1. Art $({\mbox{''}}H_{1}{\mbox{''}}|H_{0})$ zu begehen, wenn in Wirklichkeit die Nullhypothese richtig ist.

Die Wahrscheinlichkeit für einen Fehler 1. Art entspricht dem vorgegebenen Signifikanzniveau $\alpha$.

Wenn $v$ in den Nichtablehnungsbereich der $H_{0}$ fällt, wird die Nullhypothese basierend auf der Zufallsstichprobe vom Umfang $n$ nicht abgelehnt $({\mbox{''}}H_{0}{\mbox{''}})$.

Das Stichprobenergebnis gibt keine Veranlassung, die Unabhängigkeit der Zufallsvariablen $X\;$ und $Y\;$ zu verwerfen.

Bei dieser Entscheidung besteht die Möglichkeit, einen Fehler 2. Art $({\mbox{''}}H_{0}{\mbox{''}}|H_{1})$ zu begehen, wenn in Wirklichkeit die Alternativhypothese richtig ist.

Beispiele

Mängel und Alter

Es wird vermutet, dass die Anzahl der festgestellten Mängel an einem Pkw und das Alter des Pkw stochastisch unabhängig sind.

Um diese Annahme zu überprüfen, wird ein Chi-Quadrat-Unabhängigkeitstest auf einem Signifikanzniveau von $\alpha =0,05$ durchgeführt.

Für die Zufallsvariable $X\;$: "Anzahl der Mängel am Pkw" werden die Realisationen $x_{1}$ = "kein Mangel", $x_{2}$ = "1 Mangel" und $x_{3}$ = "2 oder mehr Mängel" und

für die Zufallsvariable $Y\;$: "Alter des Pkw" die Realisationen $y_{1}$ = "bis einschließlich 1 Jahr", $y_{2}$ = "über 1 Jahr bis einschließlich 2 Jahre" und $y_{3}$ = "2 Jahre oder älter" betrachtet.

Da stets die Nullhypothese statistischgeprüft wird, muss die Unabhängigkeit zwischen $X$ und $Y$ als $H_{0}$ formuliert werden, um die gemeinsamen erwarteten absoluten Häufigkeiten ermitteln zu können, so dass das Hypothesenpaar lautet:

$H_{0}:$ $X\;$ und $Y\;$ sind stochastisch unabhängig.

$H_{1}:$ $X\;$und $Y\;$ sind nicht stochastisch unabhängig.

bzw.

$H_{0}:\;p_{kj}=p_{k\bullet }\cdot p_{\bullet j}$ für alle Paare $\left(k,j\right)$

$H_{1}:\;p_{kj}\neq p_{k\bullet }\cdot p_{\bullet j}$ für mindestens ein Paar $\left(k,j\right)$

Teststatistik

Es wird die Teststatistik des Chi-Quadrat-Unabhängigkeitstests verwendet:

$V=\sum _{k=1}^{K}\sum _{j=1}^{J}{\frac {\left(H_{kj}-{\widehat {e}}_{kj}\right)^{2}}{{\widehat {e}}_{kj}}}$

die bei Gültigkeit der Nullhypothese approximativ Chi-Quadrat-verteiltist mit der Anzahl der Freiheitsgrade $f=(K-1)\cdot (J-1)$.

Die Entscheidungsbereiche der Nullhypothese können erst nach Vorliegen der Stichprobe festgelegt werden, da

• die gemeinsamen erwarteten absoluten Häufigkeiten aus der Stichprobe zu schätzen sind,

• erst dann die Approximationsbedingung überprüft werden kann und ersichtlich ist, ob Werte bzw. Klassen zusammenzufassen sind,

• erst danach die Anzahl der Freiheitsgrade feststeht und der kritische Wert aufgesucht werden kann.

Entscheidungsbereiche und Prüfwert

Bei einer konkreten Polizeikontrolle an verschiedenen Straßenstellen, wobei die Auswahl der Pkw zufällig erfolgte, wurde die Anzahl der Mängel und das Alter an 110 Pkw registriert.

Die sich aus der Stichprobe ergebenden gemeinsamen absoluten Häufigkeiten und Randhäufigkeiten sind in der folgenden Tabelle enthalten.

Gleichzeitig wurden in den Zellen dieser Tabelle die geschätzten gemeinsamen absoluten Häufigkeiten bei Gültigkeit der Nullhypothese aufgenommen, die sich gemäß

${\widehat {e}}_{kj}={\frac {h_{k\bullet }\cdot h_{\bullet j}}{n}}$

ergeben (gerundet auf eine Dezimalstelle).

Mängelanzahl $(x_{k})$		Alter $(y_{j})$			RV $X\;$
		$<1$	1-2	2 oder älter
0	beobachtet	30	14	5	49
	erwartet	26,7	13,4	8,9
1	beobachtet	18	10	4	32
	erwartet	17,5	8,7	5,8
2 oder mehr	beobachtet	12	6	11	29
	erwartet	15,8	7,9	5,3
RV $Y\;$		60	30	20	110

Die Approximationsbedingung ist erfüllt, da alle ${\widehat {e}}_{kj}\geq 5$ sind. Mit $K=3$ und $J=3$ folgt für die Anzahl der Freiheitsgrade: $f=(K-1)\cdot (J-1)=2\cdot 2=4$.

Für $P(V\leq c)=0,95$ und $f=4$ findet man aus der Tabelle der Verteilungsfunktion der Chi-Quadrat-Verteilung den kritischen Wert $c=\chi _{1-\alpha ;(f)}^{2}=\chi _{0,95;4}^{2}=9,49$.

Die Entscheidungsbereiche sind damit:

Ablehnungsbereich der $H_{0}:\;\left\{v|v>9,49\right\}$

Nichtablehnungsbereich der $H_{0}:\;\left\{v|v\leq 9,49\right\}$

Als Prüfwert ergibt sich:

$v={\frac {\left(30-26,7\right)^{2}}{26,7}}+{\frac {\left(14-13,4\right)^{2}}{13,4}}+\ldots +{\frac {\left(11-5,3\right)^{2}}{5,3}}=10,5$

Testentscheidung

Da $v$ in den Ablehnungsbereich der $H_{0}$ fällt, wird die Nullhypothese abgelehnt $({\mbox{''}}H_{1}{\mbox{''}})$.

Auf einem Signifikanzniveau von $\alpha =0,05$ und basierend auf einer Zufallsstichprobe vom Umfang $n=110$ konnte statistisch bewiesen werden, dass die Zufallsvariablen $X\;$: "Anzahl der Mängel am Pkw" und $Y\;$: "Alter des Pkw" stochastisch unabhängig sind.

Bei dieser Entscheidung besteht die Möglichkeit, einen Fehler 1. Art $({\mbox{''}}H_{1}{\mbox{''}}|H_{0})$ zu begehen, wenn in Wirklichkeit die Nullhypothese richtig ist.

Die Wahrscheinlichkeit für einen Fehler 1. Art entspricht dem vorgegebenen Signifikanzniveau $\alpha =0,05$.