Kleinste-Quadrate-Methode

Aus MM*Stat

(Weitergeleitet von LS-Methode)
Wechseln zu: Navigation, Suche

Schätztheorie

Grundbegriffe der Schätztheorie • Gütekriterien einer Schätzfunktion • Mittlere quadratische Abweichung (stochastisch) • Erwartungstreue • Effizienz • Konsistenz • Maximum-Likelihood-Methode • Kleinste-Quadrate-Methode • Intervallschätzung • Konfidenzintervall für den Erwartungswert • Konfidenzintervall für den Erwartungswert bei bekannter Varianz • Konfidenzintervall für den Erwartungswert bei unbekannter Varianz • Konfidenzintervall für den Anteilswert • Konfidenzintervall für die Varianz • Konfidenzintervall für die Differenz zweier Erwartungswerte • Bestimmung des Stichprobenumfangs • Multiple Choice • Video • Aufgaben • Lösungen
Absolute Effizienz • Asymptotische Erwartungstreue • Bias • Breite des Konfidenzintervalls • Einseitiges Konfidenzintervall • Grenzen des Konfidenzintervalls • Grenzen des Schätzintervalls • Irrtumswahrscheinlichkeit • Kleinste-Quadrate-Schätzer • Konfidenzintervall • Konfidenzniveau • Konfidenzwahrscheinlichkeit • KQ-Methode • KQ-Schätzer • Länge des Konfidenzintervalls • Likelihood-Funktion • Log-Likelihood-Funktion • Maximum-Likelihood-Schätzer • Maximum-Likelihood-Schätzung • Mean Square Error • Methode der kleinsten Quadrate • ML-Schätzer • ML-Schätzung • Parameterschätzung • Punktschätzung • Realisiertes Konfidenzintervall • Relative Effizienz • Schätzer • Schätzfehler • Schätzfunktion • Schätzintervall • Schätzung • Schätzverfahren • Schätzwert • Symmetrisches Konfidenzintervall • Unbiasedness • Unverzerrtheit • Vertrauenswahrscheinlichkeit • Verzerrung • Zentrales Konfidenzintervall • Zufallsintervall • Zweiseitiges Konfidenzintervall

Grundbegriffe

Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate

Bei der Kleinste-Quadrate-Methode (KQ-Methode) oder Methode der kleinsten Quadrate zur Konstruktion von Schätzfunktionen wird davon ausgegangen, dass die Erwartungswerte der Stichprobenvariablen X_{1},\ldots,X_{n} über eine bekannte Funktion von dem unbekannten Parameter \vartheta der Grundgesamtheit abhängen:

E[X_{i}]=g_{i}(\vartheta)\qquad i=1,\ldots,n

Im einfachsten Fall ist

g_{i}(\vartheta)=\vartheta \qquad \forall i.

Sind x_{1},\ldots,x_{n} die Stichprobenwerte einer Zufallsstichprobe aus einer Grundgesamtheit mit dem unbekannten Parameter \vartheta, so wird eine Schätzung \widehat{\vartheta} so gewählt, dass die Summe der quadrierten Abweichungen zwischen den Stichprobenwerten und g_{i}(\widehat{\vartheta}) möglichst klein wird.

Das bedeutet, dass \widehat{\vartheta} so zu bestimmen ist, dass für alle möglichen Parameterwerte \vartheta gilt:

\sum\limits_{i=1}^{n}\left(x_{i}-g_{i}\left(\widehat{\vartheta}\right)\right)^{2}\leq\sum\limits_{i=1}^{n}\left(x_{i}-g_{i}\left(\vartheta\right)\right)^{2}

bzw. dass

Q\left(\widehat{\vartheta}\right)=\sum\limits_{i=1}^{n}\left(x_{i}-g_{i}\left(\vartheta\right)\right)^{2}

minimiert wird.

Nach Differentiation nach \vartheta und Nullsetzen der ersten Ableitung lässt sich der Kleinste-Quadrate-Schätzwert \widehat{\vartheta} als Punktschätzung für \vartheta bestimmen.

Ersetzt man in dem Ergebnis die Stichprobenwerte durch die Stichprobenvariablen, resultiert der Kleinste-Quadrate-Schätzer.

Kleinste-Quadrate-Schätzer (KQ-Schätzer)

Aus einer Grundgesamtheit mit dem unbekannten Erwartungswert E[X] = \mu wird eine einfache Zufallsstichprobe vom Umfang n gezogen.

Die Stichprobenvariablen X_{i}\; (i =1, \ldots, n) sind unabhängig und identisch verteilt mit E[X_{i}]=\mu, so dass g_{i}(\mu) = \mu für alle i gilt.

Der unbekannte Parameter \mu wird nach der Methode der kleinsten Quadrate nun so geschätzt, dass die Summe der Quadrate der Abweichungen der Stichprobenwerte vom Schätzwert \widehat{\mu}

Q\left(\widehat{\mu}\right)=\sum\limits_{i=1}^{n}(x_{i}-\mu)^{2}

minimiert wird.

Differenzieren nach \mu und Nullsetzen der ersten Ableitung ergibt:

\frac{\partial Q\left(\widehat{\mu}\right)}{\partial\mu}=-2\,\sum\limits_{i=1}^{n}(x_{i}-\mu)

-2\,\sum\limits_{i=1}^{n}(x_{i}-\widehat{\mu})=0

Durch Umstellen der Gleichung folgt als KQ-Schätzwert für \mu

\widehat{\mu}=\frac{1}{n}\sum\limits_{i=1}^{n}x_{i}=\bar{x}

und bei Verwendung der Zufallsvariablen X_{i},\ldots,X_{n} der Kleinste-Quadrate-Schätzer (KQ-Schätzer):

\bar{X}= \frac{1}{n}\sum\limits_{i=1}^{n}X_{i}

Die hinreichende Bedingung für ein Minimum an der Stelle \mu =\widehat{\mu} ist, dass die zweite Ableitung nach \mu positiv ist:

\frac{\partial^{2}Q(\widehat{\mu})}{\partial\mu^{2}}=2n>0

Es zeigt sich, dass unter der Voraussetzung einer N(\mu;\sigma^{2})-verteilten Grundgesamtheit der ML-Schätzer und der KQ-Schätzer für den unbekannten Erwartungswert E[X] = \mu übereinstimmen.

Für die Anwendung der Methode der kleinsten Quadrate musste jedoch keine Annahme über die Verteilung der Zufallsvariablen X\; in der Grundgesamtheit getroffen werden.