Kleinste-Quadrate-Methode

Grundbegriffe

Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate

Bei der Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate zur Konstruktion von Schätzfunktionen wird davon ausgegangen, dass die Erwartungswerte der Stichprobenvariablen $X_{1},\ldots,X_{n}$ über eine bekannte Funktion von dem unbekannten Parameter $\vartheta$ der Grundgesamtheit abhängen:

$E[X_{i}]=g_{i}(\vartheta)\qquad i=1,\ldots,n$

Im einfachsten Fall ist

$g_{i}(\vartheta)=\vartheta \qquad \forall i$.

Sind $x_{1},\ldots,x_{n}$ die Stichprobenwerte einer Zufallsstichprobe aus einer Grundgesamtheit mit dem unbekannten Parameter $\vartheta$, so wird eine Schätzung $\widehat{\vartheta}$ so gewählt, dass die Summe der quadrierten Abweichungen zwischen den Stichprobenwerten und $g_{i}(\widehat{\vartheta})$ möglichst klein wird.

Das bedeutet, dass $\widehat{\vartheta}$ so zu bestimmen ist, dass für alle möglichen Parameterwerte $\vartheta$ gilt:

$\sum\limits_{i=1}^{n}\left(x_{i}-g_{i}\left(\widehat{\vartheta}\right)\right)^{2}\leq\sum\limits_{i=1}^{n}\left(x_{i}-g_{i}\left(\vartheta\right)\right)^{2}$

bzw. dass

$Q\left(\widehat{\vartheta}\right)=\sum\limits_{i=1}^{n}\left(x_{i}-g_{i}\left(\vartheta\right)\right)^{2}$

minimiert wird.

Nach Differentiation nach $\vartheta$ und Nullsetzen der ersten Ableitung lässt sich der Kleinste-Quadrate-Schätzwert $\widehat{\vartheta}$ als Punktschätzung für $\vartheta$ bestimmen.

Ersetzt man in dem Ergebnis die Stichprobenwerte durch die Stichprobenvariablen, resultiert der Kleinste-Quadrate-Schätzer.

Kleinste-Quadrate-Schätzer (KQ-Schätzer)

Aus einer Grundgesamtheit mit dem unbekannten Erwartungswert $E[X] = \mu$ wird eine einfache Zufallsstichprobe vom Umfang $n$ gezogen.

Die Stichprobenvariablen $X_{i}\; (i =1, \ldots, n)$ sind unabhängig und identisch verteilt mit $E[X_{i}]=\mu$, so dass $g_{i}(\mu) = \mu$ für alle $i$ gilt.

Der unbekannte Parameter $\mu$ wird nach der Methode der kleinsten Quadrate nun so geschätzt, dass die Summe der Quadrate der Abweichungen der Stichprobenwerte vom Schätzwert $\widehat{\mu}$

$Q\left(\widehat{\mu}\right)=\sum\limits_{i=1}^{n}(x_{i}-\mu)^{2}$

minimiert wird.

Differenzieren nach $\mu$ und Nullsetzen der ersten Ableitung ergibt:

$\frac{\partial Q\left(\widehat{\mu}\right)}{\partial\mu}=-2\,\sum\limits_{i=1}^{n}(x_{i}-\mu)$

$-2\,\sum\limits_{i=1}^{n}(x_{i}-\widehat{\mu})=0$

Durch Umstellen der Gleichung folgt als KQ-Schätzwert für $\mu$

$\widehat{\mu}=\frac{1}{n}\sum\limits_{i=1}^{n}x_{i}=\bar{x}$

und bei Verwendung der Zufallsvariablen $X_{i},\ldots,X_{n}$ der Kleinste-Quadrate-Schätzer (KQ-Schätzer):

$\bar{X}= \frac{1}{n}\sum\limits_{i=1}^{n}X_{i}$

Die hinreichende Bedingung für ein Minimum an der Stelle $\mu =\widehat{\mu}$ ist, dass die zweite Ableitung nach $\mu$ positiv ist:

$\frac{\partial^{2}Q(\widehat{\mu})}{\partial\mu^{2}}=2n>0$

Es zeigt sich, dass unter der Voraussetzung einer $N(\mu;\sigma^{2})$-verteilten Grundgesamtheit der ML-Schätzer und der KQ-Schätzer für den unbekannten Erwartungswert $E[X] = \mu$ übereinstimmen.

Für die Anwendung der Methode der kleinsten Quadrate musste jedoch keine Annahme über die Verteilung der Zufallsvariablen $X\;$ in der Grundgesamtheit getroffen werden.