Quelltext der Seite Chi-Quadrat-Unabhängigkeitstest/Herleitung der Teststatistik

==Herleitung des Chi-Quadrat-Unabhängigkeitstests==

===Hypothesen===

Die generelle Vorgehensweise bei Unabhängigkeitstests ist im Prinzip wie bei den [[Parametertest]]s. Es wird eine [[Teststatistik]]
konstruiert, die die Informationen bei Gültigkeit der [[Nullhypothese]] sowie die Informationen aus der [[Zufallsstichprobe]] enthält und auf deren Basis eine Aussage über die [[Nullhypothese]] möglich ist. 

Die Verteilung der [[Teststatistik]] muss unter der [[Nullhypothese]] (zumindest [[Approximation|approximativ]]) bekannt sein. 

Auch bei Unabhängigkeitstests wird stets die [[Nullhypothese]] [[Statistik|statistisch]] geprüft und in Abhängigkeit von der Testentscheidung besteht die Möglichkeit, einen [[Fehler 1. Art]] mit der [[Wahrscheinlichkeit]] <math>P\left(\mbox{''}H_{1}\mbox{''}|H_{0}\right)=\alpha</math> bzw. einen [[Fehler 2. Art]] mit der [[Wahrscheinlichkeit]] <math>P\left(\mbox{''}H_{0}\mbox{''}|H_{1}\right)=\beta</math> zu begehen. 

Mit dem vorgegebenen [[Signifikanzniveau]] kann die [[Wahrscheinlichkeit]] eines [[Fehler 1. Art|Fehlers 1. Art]] niedrig gehalten werden; die [[Wahrscheinlichkeit]] eines [[Fehler 2. Art|Fehlers 2. Art]] ist dagegen in der Regel nicht bekannt. 

Man wird deshalb bestrebt sein, die [[Nullhypothese]] abzulehnen, da dann die [[Statistik|statistische]] Sicherheit einer Fehlentscheidung bekannt ist.

Wenn die [[Zufallsvariable]]n <math>X\;</math> und <math>Y\;</math> in der [[Grundgesamtheit]] wirklich [[Unabhängigkeit (stochastisch)|unabhängig]] sind, dann ist zu erwarten, dass diese Tatsache im Prinzip auch in der [[Stichprobe]] zu beobachten ist. 

Im Prinzip bedeutet dabei, dass Abweichungen zwischen den beobachteten gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]] <math>h_{kj}</math> und den bei [[Unabhängigkeit (stochastisch)|Unabhängigkeit]] erwarteten gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]] <math>e_{kj}</math> in der Regel immer auftreten werden. 

Zu entscheiden ist, ob die Abweichungen noch zufallsbedingt sind oder ob es sich um signifikante Abweichungen handelt. 

Da stets die [[Nullhypothese]] [[Statistik|statistisch]] geprüft wird, muss die [[Unabhängigkeit (stochastisch)|Unabhängigkeit]] zwischen <math>X\;</math> und <math>Y\;</math> immer als <math>H_{0}</math> formuliert werden, um die erwarteten [[Absolute Häufigkeit|absoluten Häufigkeiten]] ermitteln zu können. 

Große Abweichungen zwischen beobachteten gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]] <math>h_{kj}</math> und den bei [[Unabhängigkeit (stochastisch)|Unabhängigkeit]] erwarteten gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]] <math>e_{kj}</math> sprechen tendenziell gegen die [[Unabhängigkeit (stochastisch)|Unabhängigkeit]], d.h. man wird die [[Nullhypothese]] ablehnen.

Das dem Chi-Quadrat-Unabhängigkeitstest zugrunde liegende [[Hypothese]]npaar enthält die [[Wahrscheinlichkeit]]en <math>p_{kj}</math>, <math>p_{k\bullet }</math>, und <math>p_{\bullet j}</math> <math>(k=1,\ldots ,K;\;j=1,\ldots J)</math>. 

Sind <math>X\;</math> und <math>Y\;</math> [[diskrete Zufallsvariable]]n, beinhalten diese [[Wahrscheinlichkeit]]en, dass <math>X\;</math> und <math>Y\;</math> genau eine mögliche [[Realisation]] annehmen:

<math>p_{kj}=P\left(\left\{X=x_{k}\right\}\cap\left\{ Y=y_{j}\right\}\right)</math>

<math>p_{k\bullet }=P\left( \left\{ X=x_{k}\right\} \right),\quad p_{\bullet j}=P\left( \left\{ Y=y_{j}\right\} \right)</math>

Für eine [[stetige Zufallsvariable]] ist die [[Wahrscheinlichkeit]], dass sie einen bestimmten Wert annimmt, jedoch stets Null. Daraus folgt die Notwendigkeit einer Intervallbildung der beobachteten Werte.

Es bedeuten im [[stetige Zufallsvariable|stetigen]] Fall:

<math>p_{kj}</math> die [[Wahrscheinlichkeit]], dass die [[Zufallsvariable]] <math>X\;</math> einen Wert aus der [[Klasse]] <math>\left( x_{k-1}^{*},x_{k}^{*}\right)</math> und die [[Zufallsvariable]] <math>Y\;</math> einen Wert aus der [[Klasse]] <math>\left(y_{j-1}^{*},y_{j}^{*}\right)</math> annimmt;

<math>p_{k\bullet}</math> die [[Wahrscheinlichkeit]], dass die [[Zufallsvariable]] <math>X\;</math> einen Wert aus der [[Klasse]] <math>\left( x_{k-1}^{*},x_{k}^{*}\right)</math> annimmt ([[Randwahrscheinlichkeit]] von <math>X\;</math>) und

<math>p_{\bullet j}</math> die [[Wahrscheinlichkeit]], dass die [[Zufallsvariable]] <math>Y\;</math> einen Wert aus der [[Klasse]] <math>\left( y_{j-1}^{*},y_{j}^{*}\right)</math> annimmt ([[Randwahrscheinlichkeit]] von <math>Y\;</math>):

<math>p_{kj}=P\left( \left\{ x_{k-1}^{*}<X\leq x_{k}^{*}\right\}\cap\left\{y_{j-1}^{*}<Y\leq y_{j}^{*}\right\}\right)</math>,

<math>p_{k\bullet}=P\left( x_{k-1}^{*}<X\leq x_{k}^{*}\right),\quad p_{\bullet j}=P\left( y_{j-1}^{*}<Y\leq y_{j}^{*}\right)</math>

Um diese Darstellung zu vereinfachen und mit dem [[Diskretes Merkmal|diskreten]] Fall zu vereinheitlichen, werden statt der [[Klasse]]n repräsentative [[Klasse]]nwerte (im Allgemeinen die [[Klassenmitte]]n) <math>x_{k},\left(k=1, \ldots K\right)</math> und <math>y_{j},\; \left( j=1, \ldots J\right)</math> verwendet. <math>K</math> und <math>J</math> sind die Anzahlen der jeweils gebildeten [[Klasse]]n.

Es sei jedoch angemerkt, dass auch für eine [[diskrete Zufallsvariable]] eine [[Klasse]]nbildung vorgenommen werden kann, falls es die Problemstellung erfordert.

===Teststatistik===

Die Tatsache, dass die beobachteten gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]] [[Zufallsvariable]]n <math>H_{kj}\;</math> sind, lässt sich wie folgt zeigen, wobei es keine Rolle spielt, ob <math>X\;</math> und <math>Y\;</math> [[diskrete Zufallsvariable|diskret]] oder [[stetige Zufallsvariable|stetig]] sind, so dass nur auf [[diskrete Zufallsvariable]]n Bezug genommen wird.

Aus der [[Grundgesamtheit]] wird ein [[Statistisches Element|Element]] zufällig gezogen und festgestellt, ob das Wertepaar <math>\left( x_{k},y_{j}\right)</math> aufgetreten ist, d.h. ob das [[Ereignis]] <math>\left\{ X=x_{k}\right\}\cap \left\{ Y=y_{j}\right\}</math> eingetreten ist oder nicht. 

Es gibt somit nur zwei mögliche Ergebnisse des [[Zufallsexperiment]]es. Die [[Wahrscheinlichkeit]] für das Eintreten des [[Ereignis]]ses <math>\left\{X=x_{k}\right\} \cap \left\{ Y=y_{j}\right\}</math> ist <math>p_{kj}</math> und die [[Wahrscheinlichkeit]] für das Nichteintreten <math>1 - p_{kj}</math>. 

Das [[Zufallsexperiment]] wird <math>n</math>-mal wiederholt, wobei die einzelnen Versuche [[Unabhängigkeit (stochastisch)|unabhängig]] voneinander (da eine [[einfache Zufallsstichprobe]] vorausgesetzt wird) und damit die [[Wahrscheinlichkeit]]en <math>p_{kj}</math> konstant sind. Es liegt somit ein [[Bernoulli-Experiment]] vor.

Bei <math>n</math>-maliger Durchführung der Versuche interessiert die Gesamtzahl des Eintretens des [[Ereignis]]ses <math>\left\{ X=x_{k}\right\}\cap \left\{ Y=y_{j}\right\}</math>, d.h. die [[absolute Häufigkeit]] des Wertepaares <math>\left( x_{k},y_{j}\right)</math> in der [[Stichprobe]]. 

Diese Häufigkeit kann von [[Stichprobe]] zu [[Stichprobe]] unterschiedlich sein, so dass 

<math>H_{kj} =\{ \mbox{Anzahl des Auftretens von } \left\{X=x_{k}\right\} \cap \left\{ Y=y_{j}\right\} \mbox{ in einer einfachen Zufallsstichprobe vom Umfang } n\}</math> 

eine [[diskrete Zufallsvariable]] ist, die die Werte <math>0,\;\ldots,\; n</math> annehmen kann. 

Die [[Zufallsvariable]] <math>H_{kj}\;</math> ist [[Binomialverteilung|binomialverteilt]] mit den [[Parameter]]n <math>n</math> und <math>p_{kj}:\; H_{kj}\sim B\left( n;p_{kj}\right)</math>. 

Der [[Erwartungswert]] von <math>H_{kj}\;</math> ist <math>E\left[ H_{kj}\right] =n\cdot p_{kj}</math>.

Bei Gültigkeit der [[Nullhypothese]], d.h. bei [[Unabhängigkeit (stochastisch)|stochastischer Unabhängigkeit]] von <math>X\;</math> und <math>Y\;</math>, ergibt sich nach dem [[Multiplikationssatz bei Unabhängigkeit]], dass die gemeinsame [[Wahrscheinlichkeit]] <math>p_{kj}</math> das Produkt der beiden [[Randwahrscheinlichkeit]]en <math>p_{k\bullet }</math> und <math>p_{\bullet j}</math> ist, d.h. <math>p_{kj}=p_{k\bullet }\cdot p_{\bullet j}</math>. 

Für die bei [[Unabhängigkeit (stochastisch)|Unabhängigkeit]] erwarteten gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]]
resultiert: 

<math>e_{kj}=n\cdot p_{kj}=n\cdot p_{k\bullet }\cdot p_{\bullet j}</math>. 

Diese Herleitung gilt für alle <math>k=1,\ldots ,K</math> und <math>j=1,\ldots J</math> gleichermaßen.

Die [[Teststatistik]] basiert auf dem Vergleich der in der [[Stichprobe]] beobachteten und der bei Gültigkeit der [[Nullhypothese]] erwarteten
gemeinsamen [[Absolute Häufigkeit|absoluten Häufigkeiten]], wobei letztere wegen der unbekannten [[Wahrscheinlichkeit]]en aus der [[Stichprobe]] zu [[Schätzung|schätzen]] sind: <math>H_{kj}-\widehat{e}_{kj}</math>. 

Damit sich positive und negative Abweichungen nicht aufheben, erfolgt eine Quadrierung: <math>\left( H_{kj}-\widehat{e}_{kj}\right) ^{2}</math>. 

Mit der Division durch <math>\widehat{e}_{kj}</math> wird der unterschiedlichen Bedeutung der Abweichungen Rechnung getragen. 

Eine Differenz <math>h_{kj}-\widehat{e}_{kj}=5</math> fällt bei <math>\widehat{e}_{kj}=10</math> stärker ins Gewicht als bei <math>\widehat{e}_{kj}=100</math>. 

Durch die Summation der normierten Abweichungen über alle Paare <math>(k, j)</math> ergibt sich eine Größe für die in der [[Stichprobe]] insgesamt enthaltenen Abweichungen, die die adäquate [[Teststatistik]] darstellt:

<math>V=\sum_{k=1}^{K}\sum_{j=1}^{J}\frac{\left( H_{kj}-\widehat{e}_{kj}\right)^{2}}{\widehat{e}_{kj}}</math>

Da die <math>H_{kj}\;</math> [[Zufallsvariable]]n sind, ist auch <math>V\;</math> eine [[Zufallsvariable]]. 

Bei Gültigkeit der [[Nullhypothese]], hinreichend großem [[Stichprobenumfang]] <math>n</math> und Einhaltung der [[Approximation]]sbedingung ist die [[Teststatistik]] <math>V\;</math> [[Approximation|approximativ]] [[Chi-Quadrat-Verteilung|Chi-Quadrat-verteilt]] mit <math>f = (K - 1)\cdot(J - 1)</math> [[Freiheitsgrad]]en. 

Ist die [[Approximation]]sbedingung nicht erfüllt, müssen vor der Anwendung des [[Statistischer Test|Tests]] benachbarte Werte bzw. [[Klasse]]n zusammengefasst werden, was dann auch im [[diskrete Zufallsvariable|diskreten]] Fall mit einer [[Klasse]]nbildung verbunden ist. 

<math>K</math> und <math>J</math> sind die Anzahl der verbliebenen Werte bzw. [[Klasse]]n nach einer eventuell notwendigen Zusammenfassung

===Anzahl der Freiheitsgrade===

Insgesamt sind <math>K\cdot J</math> [[Wahrscheinlichkeit]]en <math>p_{kj}</math> in der [[Zweidimensionale Häufigkeitsverteilung|zweidimensionalen Verteilung]] der [[Zufallsvariable]]n <math>X\;</math> und <math>Y\;</math> enthalten. 

Ein [[Freiheitsgrad]] geht grundsätzlich verloren, weil die [[Wahrscheinlichkeit]]en untereinander nicht [[Unabhängigkeit (stochastisch)|unabhängig]] sind. 

Wegen <math>\sum\nolimits_{k}\sum\nolimits_{j}p_{kj}=1</math> folgt, dass jede [[Wahrscheinlichkeit]] <math>p_{kj}</math> durch die anderen <math>K\cdot J - 1</math> [[Wahrscheinlichkeit]]en bestimmt ist. 

<math>f = K \cdot J - 1</math> wäre somit die Anzahl der [[Freiheitsgrad]]e, wenn sich bei Gültigkeit der [[Nullhypothese]] alle [[Wahrscheinlichkeit]]en <math>p_{kj}</math> aus den (bekannten) [[Randwahrscheinlichkeit]]en gemäß <math>p_{kj}=p_{k\bullet }\cdot p_{\bullet j}</math> bestimmen ließen. 

Die [[Randwahrscheinlichkeit]]en <math>p_{k\bullet }</math> und <math>p_{\bullet j}</math> sind jedoch unbekannt und müssen aus der [[Stichprobe]] [[Schätzung|geschätzt]] werden, wodurch sich die Anzahl der [[Freiheitsgrad]]e weiter verringert. 

Die [[Randverteilung]] von <math>X\;</math> enthält <math>K</math> [[Randwahrscheinlichkeit]]en <math>p_{k\bullet }</math>. Wegen <math>\sum\nolimits_{k}p_{k\bullet }=1</math> sind nur <math>K - 1</math> [[Wahrscheinlichkeit]]en <math>p_{k\bullet }</math> unbekannt und zu [[Schätzung|schätzen]]. 

Die [[Randverteilung]] von <math>Y\;</math> enthält <math>J</math> [[Randwahrscheinlichkeit]]en <math>p_{\bullet j }</math>. Wegen <math>\sum_{j}p_{\bullet j}=1</math> sind nur <math>J - 1</math> [[Wahrscheinlichkeit]]en <math>p_{\bullet j}</math> unbekannt und zu [[Schätzung|schätzen]]. 

Insgesamt sind damit <math>(K-1)+(J-1)</math> [[Randwahrscheinlichkeit]]en aus der [[Stichprobe]] zu [[Schätzung|schätzen]]. Somit folgt für die Anzahl der [[Freiheitsgrad]]e:

<math>f=K\cdot J-1-\left[ \left( K-1\right) +\left( J-1\right) \right]=K\cdot J-K-J+1=\left( K-1\right) \cdot \left( J-1\right)</math>

Da in der [[Teststatistik]] die Terme <math>\frac{\left(H_{kj}-\widehat{e}_{kj}\right)^{2}}{\widehat{e}_{kj}}</math> nur positive Werte annehmen können, nimmt die [[Teststatistik]] <math>V\;</math> ebenfalls nur positive Werte an. 

Große Abweichungen <math>H_{kj}-\widehat{e}_{kj}</math> führen zu großen Werten von <math>V\;</math>. 

Somit führen nur große Werte von <math>V\;</math> zur [[Ablehnungsbereich der Nullhypothese|Ablehnung der <math>H_{0}</math>]], während kleine Werte von <math>V</math> nicht gegen die [[Nullhypothese]] sprechen. Der Chi-Quadrat-Unabhängigkeitstest ist somit ein [[rechtsseitiger Test]].