Maximum-Likelihood-Methode

Aus MM*Stat

(Weitergeleitet von Log-Likelihood-Funktion)
Wechseln zu: Navigation, Suche

Schätztheorie

Grundbegriffe der Schätztheorie • Gütekriterien einer Schätzfunktion • Mittlere quadratische Abweichung (stochastisch) • Erwartungstreue • Effizienz • Konsistenz • Maximum-Likelihood-Methode • Kleinste-Quadrate-Methode • Intervallschätzung • Konfidenzintervall für den Erwartungswert • Konfidenzintervall für den Erwartungswert bei bekannter Varianz • Konfidenzintervall für den Erwartungswert bei unbekannter Varianz • Konfidenzintervall für den Anteilswert • Konfidenzintervall für die Varianz • Konfidenzintervall für die Differenz zweier Erwartungswerte • Bestimmung des Stichprobenumfangs • Multiple Choice • Video • Aufgaben • Lösungen
Absolute Effizienz • Asymptotische Erwartungstreue • Bias • Breite des Konfidenzintervalls • Einseitiges Konfidenzintervall • Grenzen des Konfidenzintervalls • Grenzen des Schätzintervalls • Irrtumswahrscheinlichkeit • Kleinste-Quadrate-Schätzer • Konfidenzintervall • Konfidenzniveau • Konfidenzwahrscheinlichkeit • KQ-Methode • KQ-Schätzer • Länge des Konfidenzintervalls • Likelihood-Funktion • Log-Likelihood-Funktion • Maximum-Likelihood-Schätzer • Maximum-Likelihood-Schätzung • Mean Square Error • Methode der kleinsten Quadrate • ML-Schätzer • ML-Schätzung • Parameterschätzung • Punktschätzung • Realisiertes Konfidenzintervall • Relative Effizienz • Schätzer • Schätzfehler • Schätzfunktion • Schätzintervall • Schätzung • Schätzverfahren • Schätzwert • Symmetrisches Konfidenzintervall • Unbiasedness • Unverzerrtheit • Vertrauenswahrscheinlichkeit • Verzerrung • Zentrales Konfidenzintervall • Zufallsintervall • Zweiseitiges Konfidenzintervall

Grundbegriffe

Maximum-Likelihood-Methode

Die Maximum-Likelihood-Methode ist eines der wichtigsten Verfahren zur Gewinnung von Schätzfunktionen für die Parameter einer Verteilung. Man nennt diese Methode auch Methode der maximalen Mutmaßlichkeit bzw. Größte-Dichte-Methode.

Die diskrete bzw. stetige Zufallsvariable in der Grundgesamtheit habe die Wahrscheinlichkeitsfunktion bzw. die Dichtefunktion .

Die Verteilung muss vom Typ her bekannt sein, was eine wichtige Voraussetzung der Maximum-Likelihood-Methode ist.

Diese Verteilung hängt von einem unbekannten Parameter ab.

So muss z.B. bekannt sein, dass die Grundgesamtheit binomialverteilt ist. Dann ist die Wahrscheinlichkeitsfunktion der Binomialverteilung , die von dem Parameter abhängt, denn für verschiedene Werte von ergeben sich unterschiedliche Wahrscheinlichkeiten für die Realisationen von .
Es ist bekannt, dass die Zufallsvariable in der Grundgesamtheit normalverteilt ist, d.h. ist die Dichtefunktion der Normalverteilung. Die Normalverteilung hängt von den Parametern und ab, von denen z.B. der Erwartungswert unbekannt ist.

Likelihood-Funktion

Aus der Grundgesamtheit wird eine einfache Zufallsstichprobe vom Umfang gezogen. Damit sind die Stichprobenvariablen unabhängig und identisch verteilt wie in der Grundgesamtheit:

für alle .

Die gemeinsame Verteilung aller Stichprobenvariablen ergibt sich aufgrund der Unabhängigkeit als das Produkt der einzelnen Verteilungen:

Vor der Ziehung der Stichprobe ist für diskrete Zufallsvariablen die Wahrscheinlichkeit dafür, eine Stichprobe bei festem (unbekanntem) Parameter zu erhalten.

Bei stetigen Zufallsvariablen tritt an die Stelle der Wahrscheinlichkeit eine Dichte .

hängt sowohl von den konkreten Realisierungen der Stichprobenvariablen als auch vom unbekannten Parameter ab.

Nach der Ziehung der Stichprobe liegen die Stichprobenwerte fest vor. Dann hängt das Produkt nur noch von dem Parameter ab. Um dies zu verdeutlichen, schreibt man

Diese Funktion heißt Likelihood-Funktion von und ist das Produkt von identischen Wahrscheinlichkeits- bzw. Dichtefunktionen der Stichprobenvariablen.

Für jeden möglichen Wert gibt die Wahrscheinlichkeit für die konkret realisierte Stichprobe an.

Log-Likelihood-Funktion

Das Prinzip der Maximum-Likelihood-Methode zur Konstruktion von Schätzfunktionen besteht nun darin, denjenigen Wert zu finden, für den die Likelihood-Funktion ihr Maximum annimmt:

Zur konkreten Stichprobe () wird somit derjenige Parameterwert gesucht, der die plausibelste Erklärung für die Realisierung dieser Stichprobenwerte liefert.

Unter bestimmten Voraussetzungen hat bei festen Werten genau ein Maximum.

Notwendige Bedingung für das Erreichen eines Maximums ist, dass die erste Ableitung von nach gleich Null ist:

Zur Vereinfachung der Ableitung wird oftmals die logarithmierte Likelihood-Funktion, bezeichnet als Log-Likelihood-Funktion verwendet.

Maximum-Likelihood-Schätzung (ML-Schätzung)

Da der Logarithmus einer Funktion eine streng monotone Transformation ist, besitzt sein Maximum genau an der Stelle, an der auch das Maximum der Likelihood-Funktion ist.

Die Bestimmungsgleichung ist dann

Der so gefundene Wert wird als Schätzwert für den unbekannten Parameter gewählt und als Maximum-Likelihood-Schätzung oder kurz als ML-Schätzung bezeichnet.

Maximum-Likelihood-Schätzer (ML-Schätzer)

Die resultierende Schätzfunktion heißt Maximum-Likelihood-Schätzer (ML-Schätzer) für .

Über die zweite Ableitung von nach muss geprüft werden, ob an der Stelle tatsächlich ein Maximum vorliegt.

Zusatzinformationen

ML-Schätzer bei normalverteilter Grundgesamtheit

Die Zufallsvariable in der Grundgesamtheit sei normalverteilt mit den unbekannten Parametern und und eine einfache Zufallsstichprobe aus dieser Grundgesamtheit.

Dann gilt für jedes :

Für die fest vorgegebene Stichprobe besitzt die Likelihood-Funktion die Form:

Logarithmieren ergibt die Log-Likelihood-Funktion:

ML-Schätzer für den Erwartungswert

Damit bei gegebenen maximal wird, ist der Schätzwert so zu wählen, dass die Log-Likelihood-Funktion maximal wird.

Durch partielle Differentiation nach und Nullsetzen der ersten Ableitung folgt:

Das notwendige Kriterium für die Existenz eines Maximums bei lautet:

Daraus erhält man für die ML-Schätzung :

Es ist noch die hinreichende Bedingung für ein Maximum zu prüfen. Ausgehend von der ersten Ableitung erhält man als zweite Ableitung:

Geht man von den Zufallsvariablen und nicht von ihren Realisationen aus, erhält man den bereits bekannten Stichprobenmittelwert

als eine erwartungstreue, absolut effiziente und konsistente Schätzfunktion für .

ML-Schätzer für die Varianz

Im Folgenden substituieren wir mit , also .

Partielles Differenzieren der Log-Likelihood-Funktion nach und Nullsetzen der ersten Ableitung führt zu:

Das notwendige Kriterium für die Existenz eines Maximums bei lautet:

Durch einfaches Umformen erhält man:

wobei die ML-Schätzung für den unbekannten Parameter ist.

Mit diesem Ergebnis lassen sich die ML-Schätzer angeben:

ML-Schätzer bei binomialverteilter Grundgesamtheit

Es wird angenommen, dass die Zufallsvariable in der Grundgesamtheit dichotom mit dem Parameter ist. Der Parameter , der den Anteil der Elemente mit einer bestimmten Eigenschaft angibt, ist unbekannt.

Zu seiner Schätzung wird der Grundgesamtheit eine einfache Zufallsstichprobe vom Umfang entnommen.

Dann ist die Zufallsvariable als Anzahl der Elemente mit der Eigenschaft in der Stichprobe binomialverteilt: .

Für eine konkrete Stichprobe sind die Stichprobenwerte beobachtet worden, deren Summe die realisierte Anzahl von Elementen der betreffenden Eigenschaft ist. Damit ist der beobachtete Anteil .

Für die Likelihood-Funktion erhält man

und für die Log-Likelihood-Funktion

Differentiation nach und Nullsetzen der ersten Ableitung ergibt:

Das notwendige Kriterium für die Existenz eines Maximums bei lautet:

und damit:

Da die zweite Ableitung nach

(stets) negativ ist, liegt an der Stelle ein Maximum der Log-Likelihood-Funktion vor.

Der Stichprobenanteil ist ein ML-Schätzwert für . Der ML-Schätzer ist der bereits bekannte Stichprobenanteilswert

.

ML-Schätzer bei Poisson-verteilter Grundgesamtheit

Es sei eine einfache Zufallsstichprobe vom Umfang aus einer Poisson-verteilten Grundgesamtheit mit dem unbekannten Parameter .

Dann gilt für jedes

Die Likelihood-Funktion für die realisierte Stichprobe ist dann gegeben mit

Für die Log-Likelihood-Funktion folgt:

Differenzieren nach und Nullsetzen führt zu

Das notwendige Kriterium für die Existenz eines Maximums bei lautet:

und damit

Die ML-Schätzung für der Poisson-verteilten Grundgesamtheit ist somit das arithmetische Mittel der Stichprobenwerte.

Wie leicht zu prüfen, ist die hinreichende Bedingung für ein Maximum an der Stelle erfüllt:

,

da ist und eine Poisson-verteilte Zufallsvariable keine negativen Realisationen annehmen kann.

ML-Schätzer bei exponentialverteilter Grundgesamtheit

Die Zufallsvariable in der Grundgesamtheit sei exponentialverteilt mit dem unbekannten Parameter .

Die Dichtefunktion von lautet:

Die Likelihood-Funktion für die realisierte Stichprobe aus dieser Grundgesamtheit ist dann gegeben mit

und die Log-Likelihood-Funktion mit

Ableiten nach und Nullsetzen führt zu

Das notwendige Kriterium für die Existenz eines Maximums bei lautet:

Für die ML-Schätzung für der exponentialverteilten Grundgesamtheit resultiert:

Die zweite Ableitung nach ergibt

womit die hinreichende Bedingung für ein Maximum erfüllt ist, da und sind.