Mittlere quadratische Abweichung (stochastisch)

Grundbegriffe

Mittlere quadratische Abweichung (eng. Mean Squared Error)

Die mittlere quadratische Abweichung oder Mean Squared Error (MSE) gibt den Schätzfehler an, der bei Verwendung der Schätzfunktion ${\hat {\theta }}$ zu erwarten ist.

Er misst nicht den tatsächlichen Schätzfehler und macht deshalb keine Aussage darüber, wie weit der Schätzwert ${\hat {\vartheta }}$, den man aufgrund einer konkreten Stichprobe erhält, vom wahren Parameter $\vartheta$ der Grundgesamtheit entfernt liegt.

Zwar ist der Parameter $\vartheta$ für konkrete Situationen unbekannt, jedoch kann man für jeden Wert, den $\vartheta$ annehmen kann, den MSE berechnen.

Der MSE ist definiert als:

$MSE=E\left[\left({\hat {\theta }}-\vartheta \right)^{2}\right]$

Durch einige Umformungen kann der MSE auch folgendermaßen definiert werden:

$MSE=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}\right]+\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}=Var\left({\hat {\theta }}\right)+\left({\mbox{Verzerrung}}\;\left({\hat {\theta }}\right)\right)^{2}$

Eine Herleitung dieser Behauptung findet sich weiter unten auf dieser Seite unter "Herleitung der mittleren quadratischen Ableitung".

Zusatzinformationen

Herleitung der mittleren quadratischen Abweichung

Der MSE ist definiert als:

$MSE=E\left[\left({\hat {\theta }}-\vartheta \right)^{2}\right]$

Durch Addition und gleichzeitige Subtraktion von $E\left[{\hat {\theta }}\right]$ bleibt der Ausdruck unverändert:

$MSE=E\left[\left({\hat {\theta }}-\vartheta \right)^{2}\right]=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]+E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$

Nach Ausführung der Quadrierung folgt:

$MSE\;$	$=E\left[\left({\hat {\theta }}-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]+E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}+2\cdot \left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)+\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$

Da $\theta$ und $E\left[\theta \right]$ konstante Größen sind, folgt für die Erwartungswertbildung der einzelnen Terme:

$MSE\;$	$=E\left[\left({\hat {\theta }}-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]+E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}+2\cdot \left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)+\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}\right]+2\cdot E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)\right]+E\left[\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$

Für den mittleren Term ergibt sich:

$2\cdot E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)\right]=2\cdot \left(E\left[{\hat {\theta }}\right]-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)=0$

und für den letzten Term:

$E\left[\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]=E\left[\left(E\left[{\hat {\theta }}\right]-\vartheta \right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)\right]=\left(E\left[{\hat {\theta }}\right]-\vartheta \right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)=\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}$

Damit

$MSE\;$	$=E\left[\left({\hat {\theta }}-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]+E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}+2\cdot \left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)+\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}\right]+2\cdot E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)\cdot \left(E\left[{\hat {\theta }}\right]-\vartheta \right)\right]+E\left[\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}\right]$
	$=E\left[\left({\hat {\theta }}-E\left[{\hat {\theta }}\right]\right)^{2}\right]+\left(E\left[{\hat {\theta }}\right]-\vartheta \right)^{2}$
	$=Var\left({\hat {\theta }}\right)+\left({\mbox{Verzerrung}}\;\left({\hat {\theta }}\right)\right)^{2}$