Dopo aver discusso le proprietà degli stimatori, analizziamo ora due metodi per derivare stimatori appropriati per un parametro sconosciuto.
Il metodo della massima verosimiglianza
Il metodo della massima verosimiglianza à il metodo pià importante per derivare uno stimatore per un parametro di una distribuzione.
Supponiamo di avere nella popolazione una variabile casuale discreta o risp. continua
con probabilità risp. densità di probabilità
. Un requisito fondamentale del metodo di massima verosimiglianza à che la distribuzione sia conosciuta a priori. La distribuzione dipende da un parametro sconosciuto
.
Esempio 1:
Dobbiamo conoscere la distribuzione della popolazione, per esempio, binomiale. Di conseguenza
à la funzione di probabilità della distribuzione binomiale
, che dipende dal parametro
, in quanto per diversi valori di
abbiamo diverse probabilità associate ai valori assunti da
.
Esempio 2:
Supponiamo di avere una variabile casuale
distribuita normalmente nella popolazione e quindi
rappresenta la densità di probabilità della distribuzione normale. La distribuzione normale dipende dai parametri
e
dove il valore atteso
à sconosciuto.
Estraiamo un campione casuale semplice di dimensione
dalla popolazione. Le variabili casuali sono indipendenti e distribuite identicamente come
nella popolazione:
. Data l’indipendenza, la distribuzione congiunta delle variabili à data dal prodotto delle singole distribuzioni:
à la probabilità calcolata prima dell’estrazione del campione,ovvero prima che le variabili casuali generino un campione con i valori
dato il parametro incognito
. Per variabili continue abbiamo chiaramente una densità di probabilità.
dipende sia dai valori concreti
assunti dalle variabili campionarie sia dal parametro incognito.
Le realizzazioni delle variabili campionarie sono date e immutabili una volta che abbiamo estratto il campione. Di conseguenza il prodotto
dipende adesso solo dal parametro
. Per chiarire meglio il concetto solitamente si usa la seguente espressione:
La funzione
à detta funzione di massima verosimiglianza di
ed à il prodotto di
identiche probabilità (risp. densità) delle variabili casuali. Per ogni possibile
,
indica la probabilità del campione effettivamente estratto
.
Il metodo della massima verosimiglianza consiste nel determinare un appropriato
, che massimizzi la funzione di verosimiglianza:
Per il campione estratto
cerchiamo quindi il parametro
che fornisce la spiegazione pià plausibile dei valori osservati nel campione. Sotto alcune condizioni,
ha per determinati valori
un punto di massimo. Condizione necessaria per ottenere un massimo à che la prima derivata di
rispetto a
sia nulla:
Per semplificare la derivata solitamente si usa il logaritmo della funzione di verosimiglianza
. Dato che il logaritmo di una funzione à una trasformazione monotona della funzione,
ha il suo massimo esattamente nel punto di massimo della funzione di massima verosimiglianza. Possiamo quindi riscrivere le condizioni di primo ordine come segue:
Il valore cosà trovato
viene quindi scelto come stima del parametro incognito
e indicato con stima di massima verosimiglianza, in inglese: Maximum Likelihood abbreviato: stima ML. La funzione di stima risultante à detta stimatore di massima verosimiglianza (Maximum Likelihood) di
.
Possiamo verificare che il punto trovato
sia effettivamente di massimo derivando una seconda volta
rispetto a
.
Il metodo dei minimi quadrati.
In questo metodo si suppone che i valori attesi delle variabili campionarie
dipendano, in base a una funzione conosciuta, dal parametro incognito della popolazione
:
Nel caso pià semplice
.
Dati i valori estratti nel campione casuale
dalla popolazione con parametro incognito
, cerchiamo la stima
che rende minima la somma dei quadrati degli scarti tra i valori osservati e quelli teorici
. Per ogni
,
deve essere determinato in modo che sia soddisfatta la relazione:
e rispettivamente
sia minimizzato. Determiniamo quindi la stima puntuale
per
derivando rispetto a
e ponendo l’espressione risultante uguale a zero. Otteniamo poi lo stimatore a minimi quadrati sostituendo le variabili campionarie ai valori osservati.
Durante un viaggio di lavoro, Mr. Businessman deve attendere piuttosto a lungo in un aeroporto. Per distrarsi, misura il tempo che intercorre tra l’atterraggio di due aeroplani sulla stessa pista e osserva i seguenti valori (in minuti):
3, 6, 6, 4, 8, 2, 4, 5, 9, 3.
La variabile casuale
ci dà l’intervallo di tempo tra due atterraggi consecutivi e assume quindi una distribuzione esponenziale con il parametro incognito
. Il signor Businessman utilizza una funzione di massima verosimiglianza per stimare questo parametro. La funzione di massima verosimiglianza per i valori osservati
à
e in forma logaritmica
Derivando rispetto a
e ponendo uguale a zero otteniamo
La stima ML
di
della popolazione con distribuzione esponenziale risulta:
La seconda derivata rispetto a
à
e quindi le condizioni per un massimo sono soddisfatte.
Osserviamo il numero giornaliero di incidenti ad un determinato incrocio stradale per un periodo di 50 giorni. I valori osservati sono i seguenti:
Numero giornaliero di incidenti
|
Numero di giorni
|
0
|
21
|
1
|
18
|
2
|
7
|
3
|
3
|
4
|
1
|
Il campione à basato su un esperimento nel quale gli eventi (gli incidenti stradali) si verificano casualmente e indipendentemente li uni dagli altri in un intervallo (giorno) definito su una entità dimensionale continua (tempo). La variabile casuale
indica il numero giornaliero di incidenti e ha una distribuzione di Poisson:
. Il parametro
à sconosciuto e deve essere stimato con il metodo della massima verosimiglianza (ML).
La funzione di massima verosimiglianza per le osservazioni
à
in versione logaritmica
Derivando rispetto a
e ponendo uguale a zero abbiamo
e quindi
La condizione sufficiente per aver un massimo nel punto
à soddisfatta in quanto vale
.
Il metodo della massima verosimiglianza (ML).
Stima ML di
e
di una popolazione distribuita normalmente
Supponiamo di avere una variabile casuale normale
con parametri incogniti
e
, ed estraiamo dalla popolazione un campione casuale semplice
. Per ogni variabile casuale
abbiamo
Per i valori osservati
la funzione di massima verosimiglianza puà essere riscritta come:
In forma logaritmica:
Per dati
dobbiamo scegliere
tale che
à massimizzata. Effettuiamo la derivata parziale rispetto a
e la poniamo uguale a zero:
Otteniamo quindi la stima ML
di
Verifichiamo la condizione sufficiente per avere un massimo, procedendo alla derivata seconda
Se invece di utilizzare le osservazioni
consideriamo le variabili casuali
, otteniamo la conosciuta espressione della media campionaria
come stimatore consistente, corretto e a varianza minima (efficiente) di
.
Derivando parzialmente la versione loritmica della funzione ML rispetto a
e ponendo uguale a zero otteniamo:
Elaborando il risultato abbiamo
dove
à la stima ML di
. Possiamo adesso calcolare le stime ML:
- Lo stimatore corretto di
nel caso in cui conosciamo
à
- Lo stimatore corretto asintoticamente e consistente di
nel caso in cui
à incognita à
Stima ML di
in una popolazione con distribuzione binomiale.
Supponiamo che la variabile casuale
à dicotomica con parametro incognito
. Il parametro indica la proporzione di elementi con una certa caratteristica all’interno della popolazione. Per stimarlo estraiamo un campione casuale semplice
di dimensione
. La variabile casuale
indica quindi il numero di elementi con la caratteristica rilevata nel campione ed ha una distribuzione Binomiale:
. Per un determinato campione osserviamo i valori
; sommandoli otteniamo il numero
di elementi che presentano la caratteristica analizzata. La proporzione osservata à quindi
. La funzione di massima verosimiglianza à
e in forma logaritmica
Derivando rispetto a
e ponendo uguale a zero abbiamo:
dato che la seconda derivata à sempre negativa
abbiamo trovato un punto di massimo della funzione di massima verosimiglianza.
La proporzione
à una stima ML di
. La proporzione campionaria à lo stimatore ML
Stima ML di
in una popolazione con distribuzione di Poisson.
Estraiamo da una popolazione con distribuzione di Poisson e parametro sconosciuto
un campione casuale semplice
di dimensione
. Per ogni
abbiamo
La funzione di massima verosimiglianza per i valori osservati
à
e in forma logaritmica:
Derivando rispetto a
e ponendo uguale a zero abbiamo
e quindi
La stima ML di
in una popolazione con distribuzione di Poisson à quindi la media aritmetica dei valori osservati.
La consdizione sufficiente per un massimo nel punto
à soddisfatta
in quanto
e un campione casuale con una distribuzione di Poisson non puà presentare valori negativi
.
Stima ML
di una popolazione con distribuzione esponenziale.
La variabile casuale
ha una distribuzione esponenziale con parametro sconosciuto
. La densità di probabilità di
à:
La funzione di massima verosimiglianza per i valori osservati
à
in forma logaritmica:
Derivando rispetto a
e ponendo uguale a zero otteniamo
La stima ML
di
nella popolazione esponenziale à
La seconda derivata ripetto a
à
e quindi la condizione sufficiente per un massimo à soddisfatta dato che
e
.
Il metodo dei minimi quadrati
Estraiamo un campione casuale semplice di dimensione
da una popolazione con valore atteso
sconosciuto. Le variabili campionarie
sono distribuite indipendentemente e identicamente con
tali che
per ogni
. Il parametro incognito
à stimato con il metodo dei minimi quadrati minimizzando la somma dei quadrati degli scarti esistenti tra i valori osservati e quelli teorici
Derivando rispetto a
e ponendo uguale a zero otteniamo:
Abbiamo quindi la stima di
utilizzando le variabili casuali
lo stimatore à
La condizione sufficiente per avere un punto di minimo in
prevede che la seconda derivata rispetto a
sia positiva:
Puà essere dimostrato che per una popolazione con distribuzione
i due metodi di stima illustrati forniscono lo stesso risultato per
. La differenza à che il metodo dei minimi quadrati non richiede la conoscenza della distribuzione di
nella popolazione.