Grundbegriffe
Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate
Bei der Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate zur Konstruktion von Schätzfunktionen wird davon ausgegangen, dass die Erwartungswerte der Stichprobenvariablen
über eine bekannte Funktion von dem unbekannten Parameter
der Grundgesamtheit abhängen:
Im einfachsten Fall ist
.
Sind
die Stichprobenwerte einer Zufallsstichprobe aus einer Grundgesamtheit mit dem unbekannten Parameter
, so wird eine Schätzung
so gewählt, dass die Summe der quadrierten Abweichungen zwischen den Stichprobenwerten und
möglichst klein wird.
Das bedeutet, dass
so zu bestimmen ist, dass für alle möglichen Parameterwerte
gilt:
bzw. dass
minimiert wird.
Nach Differentiation nach
und Nullsetzen der ersten Ableitung lässt sich der Kleinste-Quadrate-Schätzwert
als Punktschätzung für
bestimmen.
Ersetzt man in dem Ergebnis die Stichprobenwerte durch die Stichprobenvariablen, resultiert der Kleinste-Quadrate-Schätzer.
Kleinste-Quadrate-Schätzer (KQ-Schätzer)
Aus einer Grundgesamtheit mit dem unbekannten Erwartungswert
wird eine einfache Zufallsstichprobe vom Umfang
gezogen.
Die Stichprobenvariablen
sind unabhängig und identisch verteilt mit
, so dass
für alle
gilt.
Der unbekannte Parameter
wird nach der Methode der kleinsten Quadrate nun so geschätzt, dass die Summe der Quadrate der
Abweichungen der Stichprobenwerte vom Schätzwert
minimiert wird.
Differenzieren nach
und Nullsetzen der ersten Ableitung ergibt:
Durch Umstellen der Gleichung folgt als KQ-Schätzwert für
und bei Verwendung der Zufallsvariablen
der Kleinste-Quadrate-Schätzer (KQ-Schätzer):
Die hinreichende Bedingung für ein Minimum an der Stelle
ist, dass die zweite Ableitung nach
positiv ist:
Es zeigt sich, dass unter der Voraussetzung einer
-verteilten Grundgesamtheit der ML-Schätzer und der KQ-Schätzer für den unbekannten Erwartungswert
übereinstimmen.
Für die Anwendung der Methode der kleinsten Quadrate musste jedoch keine Annahme über die Verteilung der Zufallsvariablen
in der Grundgesamtheit getroffen werden.