Kleinste-Quadrate-Methode

Grundbegriffe

Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate

Bei der Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate zur Konstruktion von Schätzfunktionen wird davon ausgegangen, dass die Erwartungswerte der Stichprobenvariablen $X_{1},\ldots ,X_{n}$ über eine bekannte Funktion von dem unbekannten Parameter $\vartheta$ der Grundgesamtheit abhängen:

$E[X_{i}]=g_{i}(\vartheta )\qquad i=1,\ldots ,n$

Im einfachsten Fall ist

$g_{i}(\vartheta )=\vartheta \qquad \forall i$.

Sind $x_{1},\ldots ,x_{n}$ die Stichprobenwerte einer Zufallsstichprobe aus einer Grundgesamtheit mit dem unbekannten Parameter $\vartheta$, so wird eine Schätzung ${\widehat {\vartheta }}$ so gewählt, dass die Summe der quadrierten Abweichungen zwischen den Stichprobenwerten und $g_{i}({\widehat {\vartheta }})$ möglichst klein wird.

Das bedeutet, dass ${\widehat {\vartheta }}$ so zu bestimmen ist, dass für alle möglichen Parameterwerte $\vartheta$ gilt:

$\sum \limits _{i=1}^{n}\left(x_{i}-g_{i}\left({\widehat {\vartheta }}\right)\right)^{2}\leq \sum \limits _{i=1}^{n}\left(x_{i}-g_{i}\left(\vartheta \right)\right)^{2}$

bzw. dass

$Q\left({\widehat {\vartheta }}\right)=\sum \limits _{i=1}^{n}\left(x_{i}-g_{i}\left(\vartheta \right)\right)^{2}$

minimiert wird.

Nach Differentiation nach $\vartheta$ und Nullsetzen der ersten Ableitung lässt sich der Kleinste-Quadrate-Schätzwert ${\widehat {\vartheta }}$ als Punktschätzung für $\vartheta$ bestimmen.

Ersetzt man in dem Ergebnis die Stichprobenwerte durch die Stichprobenvariablen, resultiert der Kleinste-Quadrate-Schätzer.

Kleinste-Quadrate-Schätzer (KQ-Schätzer)

Aus einer Grundgesamtheit mit dem unbekannten Erwartungswert $E[X]=\mu$ wird eine einfache Zufallsstichprobe vom Umfang $n$ gezogen.

Die Stichprobenvariablen $X_{i}\;(i=1,\ldots ,n)$ sind unabhängig und identisch verteilt mit $E[X_{i}]=\mu$, so dass $g_{i}(\mu )=\mu$ für alle $i$ gilt.

Der unbekannte Parameter $\mu$ wird nach der Methode der kleinsten Quadrate nun so geschätzt, dass die Summe der Quadrate der Abweichungen der Stichprobenwerte vom Schätzwert ${\widehat {\mu }}$

$Q\left({\widehat {\mu }}\right)=\sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}$

minimiert wird.

Differenzieren nach $\mu$ und Nullsetzen der ersten Ableitung ergibt:

${\frac {\partial Q\left({\widehat {\mu }}\right)}{\partial \mu }}=-2\,\sum \limits _{i=1}^{n}(x_{i}-\mu )$

$-2\,\sum \limits _{i=1}^{n}(x_{i}-{\widehat {\mu }})=0$

Durch Umstellen der Gleichung folgt als KQ-Schätzwert für $\mu$

${\widehat {\mu }}={\frac {1}{n}}\sum \limits _{i=1}^{n}x_{i}={\bar {x}}$

und bei Verwendung der Zufallsvariablen $X_{i},\ldots ,X_{n}$ der Kleinste-Quadrate-Schätzer (KQ-Schätzer):

${\bar {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}$

Die hinreichende Bedingung für ein Minimum an der Stelle $\mu ={\widehat {\mu }}$ ist, dass die zweite Ableitung nach $\mu$ positiv ist:

${\frac {\partial ^{2}Q({\widehat {\mu }})}{\partial \mu ^{2}}}=2n>0$

Es zeigt sich, dass unter der Voraussetzung einer $N(\mu ;\sigma ^{2})$-verteilten Grundgesamtheit der ML-Schätzer und der KQ-Schätzer für den unbekannten Erwartungswert $E[X]=\mu$ übereinstimmen.

Für die Anwendung der Methode der kleinsten Quadrate musste jedoch keine Annahme über die Verteilung der Zufallsvariablen $X\;$ in der Grundgesamtheit getroffen werden.