Grundbegriffe
Maximum-Likelihood-Methode
Die Maximum-Likelihood-Methode ist eines der wichtigsten Verfahren zur Gewinnung von Schätzfunktionen für die Parameter einer Verteilung. Man nennt diese Methode auch Methode der maximalen Mutmaßlichkeit bzw. Größte-Dichte-Methode.
Die diskrete bzw. stetige Zufallsvariable
in der Grundgesamtheit habe die Wahrscheinlichkeitsfunktion bzw. die Dichtefunktion
.
Die Verteilung muss vom Typ her bekannt sein, was eine wichtige Voraussetzung der Maximum-Likelihood-Methode ist.
Diese Verteilung hängt von einem unbekannten Parameter
ab.
- So muss z.B. bekannt sein, dass die Grundgesamtheit binomialverteilt ist. Dann ist
die Wahrscheinlichkeitsfunktion der Binomialverteilung
, die von dem Parameter
abhängt, denn für verschiedene Werte von
ergeben sich unterschiedliche Wahrscheinlichkeiten für die Realisationen von
.
- Es ist bekannt, dass die Zufallsvariable
in der Grundgesamtheit normalverteilt ist, d.h.
ist die Dichtefunktion der Normalverteilung. Die Normalverteilung hängt von den Parametern
und
ab, von denen z.B. der Erwartungswert
unbekannt ist.
Likelihood-Funktion
Aus der Grundgesamtheit wird eine einfache Zufallsstichprobe
vom Umfang
gezogen. Damit sind die Stichprobenvariablen unabhängig und identisch verteilt wie
in der Grundgesamtheit:
für alle
.
Die gemeinsame Verteilung aller Stichprobenvariablen ergibt sich aufgrund der Unabhängigkeit als das Produkt der einzelnen Verteilungen:
Vor der Ziehung der Stichprobe ist
für diskrete Zufallsvariablen die Wahrscheinlichkeit dafür, eine Stichprobe
bei festem (unbekanntem) Parameter
zu erhalten.
Bei stetigen Zufallsvariablen tritt an die Stelle der Wahrscheinlichkeit eine Dichte .
hängt sowohl von den konkreten Realisierungen
der Stichprobenvariablen als auch vom unbekannten Parameter
ab.
Nach der Ziehung der Stichprobe liegen die Stichprobenwerte fest vor. Dann hängt das Produkt
nur noch von dem Parameter
ab. Um dies zu verdeutlichen, schreibt man
Diese Funktion
heißt Likelihood-Funktion von
und ist das Produkt von
identischen Wahrscheinlichkeits- bzw. Dichtefunktionen der Stichprobenvariablen.
Für jeden möglichen Wert
gibt
die Wahrscheinlichkeit für die konkret realisierte Stichprobe
an.
Log-Likelihood-Funktion
Das Prinzip der Maximum-Likelihood-Methode zur Konstruktion von Schätzfunktionen besteht nun darin, denjenigen Wert
zu finden, für den die Likelihood-Funktion ihr Maximum annimmt:
Zur konkreten Stichprobe (
) wird somit derjenige Parameterwert
gesucht, der die
plausibelste Erklärung für die Realisierung dieser Stichprobenwerte liefert.
Unter bestimmten Voraussetzungen hat
bei festen Werten
genau ein Maximum.
Notwendige Bedingung für das Erreichen eines Maximums ist, dass die erste Ableitung von
nach
gleich Null ist:
Zur Vereinfachung der Ableitung wird oftmals die logarithmierte Likelihood-Funktion, bezeichnet als Log-Likelihood-Funktion
verwendet.
Maximum-Likelihood-Schätzung (ML-Schätzung)
Da der Logarithmus einer Funktion eine streng monotone Transformation ist, besitzt
sein Maximum genau an der Stelle, an der auch das Maximum der Likelihood-Funktion ist.
Die Bestimmungsgleichung ist dann
Der so gefundene Wert
wird als Schätzwert für den unbekannten Parameter
gewählt und als Maximum-Likelihood-Schätzung oder kurz als ML-Schätzung bezeichnet.
Maximum-Likelihood-Schätzer (ML-Schätzer)
Die resultierende Schätzfunktion heißt Maximum-Likelihood-Schätzer (ML-Schätzer) für
.
Über die zweite Ableitung von
nach
muss geprüft werden, ob an der Stelle
tatsächlich ein Maximum vorliegt.
Zusatzinformationen
ML-Schätzer bei normalverteilter Grundgesamtheit
Die Zufallsvariable
in der Grundgesamtheit sei normalverteilt mit den unbekannten Parametern
und
und
eine einfache Zufallsstichprobe aus dieser Grundgesamtheit.
Dann gilt für jedes
:
Für die fest vorgegebene Stichprobe
besitzt die Likelihood-Funktion die Form:
|
|
|
|
Logarithmieren ergibt die Log-Likelihood-Funktion:
ML-Schätzer für den Erwartungswert
Damit
bei gegebenen
maximal wird, ist der Schätzwert
so zu wählen, dass die Log-Likelihood-Funktion maximal wird.
Durch partielle Differentiation nach
und Nullsetzen der ersten Ableitung folgt:
Das notwendige Kriterium für die Existenz eines Maximums bei
lautet:
Daraus erhält man für
die ML-Schätzung
:
Es ist noch die hinreichende Bedingung für ein Maximum zu prüfen. Ausgehend von der ersten Ableitung erhält man als zweite Ableitung:
Geht man von den Zufallsvariablen
und nicht von ihren Realisationen
aus, erhält man den bereits bekannten Stichprobenmittelwert
als eine erwartungstreue, absolut effiziente und konsistente Schätzfunktion für
.
ML-Schätzer für die Varianz
Im Folgenden substituieren wir
mit
, also
.
Partielles Differenzieren der Log-Likelihood-Funktion nach
und Nullsetzen der ersten Ableitung führt zu:
Das notwendige Kriterium für die Existenz eines Maximums bei
lautet:
Durch einfaches Umformen erhält man:
wobei
die ML-Schätzung für den unbekannten Parameter
ist.
Mit diesem Ergebnis lassen sich die ML-Schätzer angeben:
![{\displaystyle S^{*2}={\frac {1}{n}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}}](/mmstat/w/index.php?title=Spezial:MathShowImage&hash=1a57d77f8da7168bc1223f974fde0d3c&mode=mathml)
![{\displaystyle S^{\prime 2}={\frac {1}{n}}\sum \limits _{i=1}^{n}(X_{i}-{\bar {X}})^{2}}](/mmstat/w/index.php?title=Spezial:MathShowImage&hash=4aad2c20da4fbcd62156027119dd0bc4&mode=mathml)
ML-Schätzer bei binomialverteilter Grundgesamtheit
Es wird angenommen, dass die Zufallsvariable
in der Grundgesamtheit dichotom mit dem Parameter
ist. Der Parameter
, der den Anteil der Elemente mit einer bestimmten Eigenschaft angibt, ist unbekannt.
Zu seiner Schätzung wird der Grundgesamtheit eine einfache Zufallsstichprobe
vom Umfang
entnommen.
Dann ist die Zufallsvariable
als Anzahl der Elemente mit der Eigenschaft in der Stichprobe binomialverteilt:
.
Für eine konkrete Stichprobe sind die Stichprobenwerte
beobachtet worden, deren Summe die realisierte Anzahl
von Elementen der betreffenden Eigenschaft ist. Damit ist der beobachtete Anteil
.
Für die Likelihood-Funktion erhält man
und für die Log-Likelihood-Funktion
Differentiation nach
und Nullsetzen der ersten Ableitung ergibt:
Das notwendige Kriterium für die Existenz eines Maximums bei
lautet:
und damit:
Da die zweite Ableitung nach
(stets) negativ ist, liegt an der Stelle ein Maximum der Log-Likelihood-Funktion vor.
Der Stichprobenanteil
ist ein ML-Schätzwert für
. Der ML-Schätzer ist der bereits bekannte Stichprobenanteilswert
.
ML-Schätzer bei Poisson-verteilter Grundgesamtheit
Es sei
eine einfache Zufallsstichprobe vom Umfang
aus einer Poisson-verteilten Grundgesamtheit mit dem unbekannten Parameter
.
Dann gilt für jedes
Die Likelihood-Funktion für die realisierte Stichprobe
ist dann gegeben mit
Für die Log-Likelihood-Funktion folgt:
Differenzieren nach
und Nullsetzen führt zu
Das notwendige Kriterium für die Existenz eines Maximums bei
lautet:
und damit
Die ML-Schätzung für
der Poisson-verteilten Grundgesamtheit ist somit das arithmetische Mittel der Stichprobenwerte.
Wie leicht zu prüfen, ist die hinreichende Bedingung für ein Maximum an der Stelle
erfüllt:
,
da
ist und eine Poisson-verteilte Zufallsvariable keine negativen Realisationen
annehmen kann.
ML-Schätzer bei exponentialverteilter Grundgesamtheit
Die Zufallsvariable
in der Grundgesamtheit sei exponentialverteilt mit dem unbekannten Parameter
.
Die Dichtefunktion von
lautet:
Die Likelihood-Funktion für die realisierte Stichprobe
aus dieser Grundgesamtheit ist dann gegeben mit
und die Log-Likelihood-Funktion mit
Ableiten nach
und Nullsetzen führt zu
Das notwendige Kriterium für die Existenz eines Maximums bei
lautet:
Für die ML-Schätzung für
der exponentialverteilten Grundgesamtheit resultiert:
Die zweite Ableitung nach
ergibt
womit die hinreichende Bedingung für ein Maximum erfüllt ist, da
und
sind.