I metodi di stima

English

Português

Français

‎Español

Italiano

Nederlands

Dopo aver discusso le proprietà degli stimatori, analizziamo ora due metodi per derivare stimatori appropriati per un parametro sconosciuto.

Il metodo della massima verosimiglianza

Il metodo della massima verosimiglianza à il metodo pià importante per derivare uno stimatore per un parametro di una distribuzione. Supponiamo di avere nella popolazione una variabile casuale discreta o risp. continua $X$ con probabilità risp. densità di probabilità $f(x|\vartheta )$. Un requisito fondamentale del metodo di massima verosimiglianza à che la distribuzione sia conosciuta a priori. La distribuzione dipende da un parametro sconosciuto $\vartheta$. Esempio 1:
Dobbiamo conoscere la distribuzione della popolazione, per esempio, binomiale. Di conseguenza $f(x|\vartheta )$ à la funzione di probabilità della distribuzione binomiale $B(n;\pi )$, che dipende dal parametro $\pi$, in quanto per diversi valori di $\pi$ abbiamo diverse probabilità associate ai valori assunti da $X$. Esempio 2:
Supponiamo di avere una variabile casuale $X$ distribuita normalmente nella popolazione e quindi $f(x|\vartheta )$ rappresenta la densità di probabilità della distribuzione normale. La distribuzione normale dipende dai parametri $\mu$ e $\sigma ^{2}$ dove il valore atteso $E(X)=\mu$ à sconosciuto. Estraiamo un campione casuale semplice di dimensione $n$ dalla popolazione. Le variabili casuali sono indipendenti e distribuite identicamente come $X$ nella popolazione: $f(x_{i}|\vartheta )\ \forall \ i=1,\dots ,n$. Data l’indipendenza, la distribuzione congiunta delle variabili à data dal prodotto delle singole distribuzioni: $P(\{X_{1}=x_{1}\}\cap \dots \cap \{X_{n}=x_{n}\}|\vartheta )=f(x_{1}|\vartheta )\cdot \dots \cdot f(x_{n}|\vartheta )\,.$ $f(x_{1},\dots ,x_{n}|\vartheta )$ à la probabilità calcolata prima dell’estrazione del campione,ovvero prima che le variabili casuali generino un campione con i valori $(x_{1},\dots ,x_{n})$ dato il parametro incognito $\vartheta$. Per variabili continue abbiamo chiaramente una densità di probabilità. $f(x_{1},\dots ,x_{n}|\vartheta )$ dipende sia dai valori concreti $x_{1},\dots ,x_{n}$ assunti dalle variabili campionarie sia dal parametro incognito. Le realizzazioni delle variabili campionarie sono date e immutabili una volta che abbiamo estratto il campione. Di conseguenza il prodotto $f(x_{1},\dots ,x_{n}|\vartheta )$ dipende adesso solo dal parametro $\vartheta$. Per chiarire meglio il concetto solitamente si usa la seguente espressione: $L(\vartheta |x_{1},\dots ,x_{n})=f(x_{1}|\vartheta )\cdot \dots \cdot f(x_{n}|\vartheta )=\prod \limits _{i=1}^{n}f(x_{i}|\vartheta )\,.$ La funzione $L(\vartheta )$ à detta funzione di massima verosimiglianza di $\vartheta$ ed à il prodotto di $n$ identiche probabilità (risp. densità) delle variabili casuali. Per ogni possibile $\vartheta$, $L(\vartheta )$ indica la probabilità del campione effettivamente estratto $(x_{1},\dots ,x_{n})$. Il metodo della massima verosimiglianza consiste nel determinare un appropriato ${\widehat {\vartheta }}$, che massimizzi la funzione di verosimiglianza: $L({\widehat {\vartheta }}=\max _{\vartheta }L(\vartheta )\,.$ Per il campione estratto $(x_{1},\dots ,x_{n})$ cerchiamo quindi il parametro ${\widehat {\vartheta }}$ che fornisce la spiegazione pià plausibile dei valori osservati nel campione. Sotto alcune condizioni, $L(c)$ ha per determinati valori $x_{1},\dots ,x_{n}$ un punto di massimo. Condizione necessaria per ottenere un massimo à che la prima derivata di $L({\widehat {\vartheta }})$ rispetto a $\vartheta$ sia nulla: ${\frac {\partial L({\widehat {\vartheta }})}{\partial \vartheta }}=0\,.$ Per semplificare la derivata solitamente si usa il logaritmo della funzione di verosimiglianza $\log L({\widehat {\vartheta }})$. Dato che il logaritmo di una funzione à una trasformazione monotona della funzione, $\log L({\widehat {\vartheta }})$ ha il suo massimo esattamente nel punto di massimo della funzione di massima verosimiglianza. Possiamo quindi riscrivere le condizioni di primo ordine come segue: ${\frac {\partial \log L({\widehat {\vartheta }})}{\partial \vartheta }}=0\,.$ Il valore cosà trovato ${\widehat {\vartheta }}$ viene quindi scelto come stima del parametro incognito $\vartheta$ e indicato con stima di massima verosimiglianza, in inglese: Maximum Likelihood abbreviato: stima ML. La funzione di stima risultante à detta stimatore di massima verosimiglianza (Maximum Likelihood) di $\vartheta$.
Possiamo verificare che il punto trovato $\vartheta ={\widehat {\vartheta }}$ sia effettivamente di massimo derivando una seconda volta $\log L$ rispetto a $\vartheta$.

Il metodo dei minimi quadrati.

In questo metodo si suppone che i valori attesi delle variabili campionarie $X_{1},\dots ,X_{n}$ dipendano, in base a una funzione conosciuta, dal parametro incognito della popolazione $\vartheta$: $E(X_{i})=g_{i}(\vartheta )\qquad i=1,\dots ,n$ Nel caso pià semplice $g_{i}(\vartheta )=\vartheta \ \forall \ i$. Dati i valori estratti nel campione casuale $x_{1},\dots ,x_{n}$ dalla popolazione con parametro incognito $\vartheta$, cerchiamo la stima ${\widehat {\vartheta }}$ che rende minima la somma dei quadrati degli scarti tra i valori osservati e quelli teorici $g_{i}({\widehat {\vartheta }})$. Per ogni $\vartheta$, ${\widehat {\vartheta }}$ deve essere determinato in modo che sia soddisfatta la relazione: $\sum \limits _{i=1}^{n}(x_{i}-g_{i}({\widehat {\vartheta }}))^{2}\leq \sum \limits _{i=1}^{n}(x_{i}-g_{i}(\vartheta ))^{2}$ e rispettivamente $Q({\widehat {\vartheta }})=\sum \limits _{i=1}^{n}x_{i}-g_{i}(\vartheta ))^{2}$ sia minimizzato. Determiniamo quindi la stima puntuale ${\widehat {\vartheta }}$ per $\vartheta$ derivando rispetto a $\vartheta$ e ponendo l’espressione risultante uguale a zero. Otteniamo poi lo stimatore a minimi quadrati sostituendo le variabili campionarie ai valori osservati. Durante un viaggio di lavoro, Mr. Businessman deve attendere piuttosto a lungo in un aeroporto. Per distrarsi, misura il tempo che intercorre tra l’atterraggio di due aeroplani sulla stessa pista e osserva i seguenti valori (in minuti):
3, 6, 6, 4, 8, 2, 4, 5, 9, 3. La variabile casuale $X$ ci dà l’intervallo di tempo tra due atterraggi consecutivi e assume quindi una distribuzione esponenziale con il parametro incognito $\lambda >0$. Il signor Businessman utilizza una funzione di massima verosimiglianza per stimare questo parametro. La funzione di massima verosimiglianza per i valori osservati $x_{1},\dots ,x_{10}$ à ${\begin{aligned}L(\lambda |3,6,6,4,8,2,4,5,9,3)&=&\lambda e^{-3\lambda }\cdot \lambda e^{-6\lambda }\cdot \lambda e^{-6\lambda }\cdot \lambda e^{-4\lambda }\cdot \lambda e^{-8\lambda }\cdot \lambda e^{-2\lambda }\cdot \lambda e^{-4\lambda }\cdot \lambda e^{-5\lambda }\cdot \lambda e^{-9\lambda }\cdot \lambda e^{-3\lambda }\\&=&\lambda ^{10}e^{-50\lambda }\\\end{aligned}}$ e in forma logaritmica $\log L(\lambda )=10\log \lambda -50\lambda \,.$ Derivando rispetto a $\lambda$ e ponendo uguale a zero otteniamo ${\frac {\partial \log L(\lambda )}{\partial \lambda }}={\frac {10}{\widehat {\lambda }}}-50=0\,.$ La stima ML ${\widehat {\lambda }}$ di $\lambda$ della popolazione con distribuzione esponenziale risulta: ${\widehat {\lambda }}={\frac {10}{50}}=0,2={\frac {1}{\bar {x}}}\,.$ La seconda derivata rispetto a $\lambda$ à ${\frac {\partial ^{2}\log L(\lambda )}{\partial \lambda ^{2}}}=-{\frac {10}{\lambda ^{2}}}$ e quindi le condizioni per un massimo sono soddisfatte. Osserviamo il numero giornaliero di incidenti ad un determinato incrocio stradale per un periodo di 50 giorni. I valori osservati sono i seguenti:

Numero giornaliero di incidenti	Numero di giorni
0	21
1	18
2	7
3	3
4	1

Il campione à basato su un esperimento nel quale gli eventi (gli incidenti stradali) si verificano casualmente e indipendentemente li uni dagli altri in un intervallo (giorno) definito su una entità dimensionale continua (tempo). La variabile casuale $X$ indica il numero giornaliero di incidenti e ha una distribuzione di Poisson: $X\sim PO(\lambda )$. Il parametro $\lambda$ à sconosciuto e deve essere stimato con il metodo della massima verosimiglianza (ML). La funzione di massima verosimiglianza per le osservazioni $x_{1},\dots ,x_{n}$ à $L(\lambda |x_{1},\dots ,x_{n})={\frac {\lambda ^{x_{1}+\dots +x_{50}}}{x_{1}\,!\cdot \dots \cdot x_{50}\,!}}e^{-50\lambda }={\frac {\lambda ^{45}}{0\,!\cdot 0\,!\cdot \dots \cdot 3\,!\cdot 4\,!}}e^{-50\lambda }\,.$ in versione logaritmica $\log L(\lambda |x_{1},\dots ,x_{50})=45\log \lambda -[\log(0\,!)+\log(0\,!)+\dots +\log(3\,!)+\log(4\,!)]-50\lambda \,.$ Derivando rispetto a $\lambda$ e ponendo uguale a zero abbiamo ${\frac {\partial \log L}{\partial \lambda }}={\frac {45}{\widehat {\lambda }}}-50=0$ e quindi ${\widehat {\lambda }}={\frac {45}{50}}=0,9={\bar {x}}\,.$ La condizione sufficiente per aver un massimo nel punto $\lambda ={\widehat {\lambda }}$ à soddisfatta in quanto vale ${\frac {\partial ^{2}\log L}{\partial \lambda ^{2}}}=-{\frac {1}{\lambda ^{2}}}45<0\,$ .

Il metodo della massima verosimiglianza (ML).

Stima ML di $\mu$ e $\sigma ^{2}$ di una popolazione distribuita normalmente

Supponiamo di avere una variabile casuale normale $X$ con parametri incogniti $\mu$ e $\sigma ^{2}$, ed estraiamo dalla popolazione un campione casuale semplice $X_{1},\dots ,X_{n}$. Per ogni variabile casuale $X_{i},i=1,\dots ,n$ abbiamo $f(x_{i}|\mu ,\sigma )={\frac {1}{{\sqrt {2\pi }}\,\sigma }}\,e^{-{\frac {(x_{i}-\mu )^{2}}{2\sigma ^{2}}}}\,$ Per i valori osservati $(x_{1},\dots ,x_{n})$ la funzione di massima verosimiglianza puà essere riscritta come: ${\begin{aligned}L(\mu ,\sigma ^{2}|x_{1},\dots ,x_{n})=\prod _{i=1}^{n}f(x_{i}|\mu ,\sigma )&=&\left({\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\right)^{n}e^{-{\frac {1}{2\sigma ^{2}}}\sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}}\\&=&(2\pi \sigma ^{2})^{-{\frac {n}{2}}}\cdot exp\left(-{\frac {1}{2\sigma ^{2}}}\sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}\right)\,.\\\end{aligned}}$ In forma logaritmica: $\log L(\mu ,\sigma ^{2}|x_{1},\dots ,x_{n})=-{\frac {n}{2}}\cdot \log(2\pi )-{\frac {n}{2}}\cdot \log \sigma ^{2}-{\frac {1}{2\sigma ^{2}}}\cdot \sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}\,.$
Per dati $(x_{1},\dots ,x_{n})$ dobbiamo scegliere ${\widehat {\mu }}$ tale che $L(\mu ;\sigma ^{2})$ à massimizzata. Effettuiamo la derivata parziale rispetto a $\mu$ e la poniamo uguale a zero: ${\frac {\partial \log L}{\partial \mu }}=-{\frac {2\cdot \sum \limits _{i=1}^{n}(x_{i}-{\widehat {\mu }})\cdot (-1)}{2\sigma ^{2}}}=0$ Otteniamo quindi la stima ML ${\widehat {\mu }}$ di $\mu :$ $\sum \limits _{i=1}^{n}(x_{i}-{\widehat {\mu }})=0$ ${\widehat {\mu }}={\frac {\sum \limits _{i=1}^{n}x_{i}}{n}}={\bar {x}}\,.$ Verifichiamo la condizione sufficiente per avere un massimo, procedendo alla derivata seconda ${\frac {\partial ^{2}\log L}{\partial \mu ^{2}}}=-{\frac {n}{\sigma ^{2}}}<0\,.$ Se invece di utilizzare le osservazioni $x_{1},\dots ,x_{n}$ consideriamo le variabili casuali $X_{1},\dots ,X_{n}$, otteniamo la conosciuta espressione della media campionaria ${\bar {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}$ come stimatore consistente, corretto e a varianza minima (efficiente) di $\mu$.
Derivando parzialmente la versione loritmica della funzione ML rispetto a $\sigma ^{2}$ e ponendo uguale a zero otteniamo: ${\frac {\partial \log L}{\partial \sigma ^{2}}}=-{\frac {n}{2}}\cdot {\frac {1}{{\widehat {\sigma }}^{2}}}+{\frac {1}{2}}\cdot {\frac {1}{{\widehat {\sigma }}^{4}}}\cdot \sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}=0\,.$ Elaborando il risultato abbiamo ${\frac {n}{2{\widehat {\sigma }}^{2}}}={\frac {1}{2{\widehat {\sigma }}^{4}}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}$ ${\widehat {\sigma }}^{2}={\frac {1}{n}}\sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}\,,$ dove ${\widehat {\sigma }}^{2}$ à la stima ML di $\sigma ^{2}$. Possiamo adesso calcolare le stime ML:

• Lo stimatore corretto di $\sigma ^{2}$ nel caso in cui conosciamo $\mu$ à $S^{\star 2}={\frac {1}{n}}\sum \limits _{i=1}^{n}(X_{i}-\mu )^{2}$
• Lo stimatore corretto asintoticamente e consistente di $\sigma ^{2}$ nel caso in cui $\mu$ à incognita à $S^{/2}={\frac {1}{n}}\sum \limits _{i=1}^{n}(X_{i}-{\bar {X}})^{2}\,.$

Stima ML di $\pi$ in una popolazione con distribuzione binomiale.

Supponiamo che la variabile casuale $X$ à dicotomica con parametro incognito $\pi$. Il parametro indica la proporzione di elementi con una certa caratteristica all’interno della popolazione. Per stimarlo estraiamo un campione casuale semplice $(X_{1},\dots ,X_{n})$ di dimensione $n$. La variabile casuale $X$ indica quindi il numero di elementi con la caratteristica rilevata nel campione ed ha una distribuzione Binomiale: $B(n,\pi )$. Per un determinato campione osserviamo i valori $x_{1},\dots ,x_{n}$; sommandoli otteniamo il numero $x$ di elementi che presentano la caratteristica analizzata. La proporzione osservata à quindi $p=x/n$. La funzione di massima verosimiglianza à $L(\pi |x)=\left({\begin{array}{c}n\\x\end{array}}\right)\cdot \pi ^{x}\cdot (1-\pi )^{n-x}$ e in forma logaritmica $\log L(\pi |x)=\log \left({\begin{array}{c}n\\x\end{array}}\right)+x\log \pi +(n-x)\log(1-\pi )\,.$ Derivando rispetto a $\pi$ e ponendo uguale a zero abbiamo: ${\frac {\partial \log L(\pi |x)}{\partial \pi }}={\frac {x}{\widehat {\pi }}}-{\frac {n-x}{1-{\widehat {\pi }}}}=0$ $x(1-{\widehat {\pi }})-(n-x){\widehat {\pi }}=0$ ${\widehat {\pi }}={\frac {x}{n}}$ dato che la seconda derivata à sempre negativa ${\frac {\partial ^{2}\log L(\pi |x)}{\partial \pi ^{2}}}=-{\frac {x}{\pi ^{2}}}-{\frac {n-x}{(1-\pi )^{2}}}$ abbiamo trovato un punto di massimo della funzione di massima verosimiglianza. La proporzione ${\widehat {\pi }}$ à una stima ML di $\pi$. La proporzione campionaria à lo stimatore ML ${\widehat {\pi }}={\frac {X}{n}}\,.$

Stima ML di $\lambda$ in una popolazione con distribuzione di Poisson.

Estraiamo da una popolazione con distribuzione di Poisson e parametro sconosciuto $\lambda >0$ un campione casuale semplice $X_{1},\dots ,X_{n}$ di dimensione $n$. Per ogni $X_{i},i=1,\dots ,n$ abbiamo $f_{PO}(x_{i};\lambda )={\frac {\lambda ^{x_{i}}}{x_{i}\,!}}e^{-\lambda }.$ La funzione di massima verosimiglianza per i valori osservati $x_{1},\dots ,x_{n}$ à $L(\lambda |x_{1},\dots ,x_{n})=\sum \limits _{i=1}^{n}{\frac {\lambda ^{x_{i}}}{x_{i}\,!}}e^{-\lambda }={\frac {\lambda ^{x_{1}+\dots +x_{n}}}{x_{1}\,!\cdot \dots \cdot x_{n}\,!}}e^{-n\lambda }$ e in forma logaritmica: $\log L(\lambda |x_{1},\dots ,x_{n})=\sum \limits _{i=1}^{n}\log \left({\frac {\lambda ^{x_{i}}}{x_{i}\,!}}e^{-\lambda }\right)=\sum \limits _{i=1}^{n}(x_{i}\log \lambda -\log(x_{i}\,!)-\lambda )\,.$ Derivando rispetto a $\lambda$ e ponendo uguale a zero abbiamo ${\frac {\partial \log L}{\partial \lambda }}=\sum \limits _{i=1}^{n}\left({\frac {x_{i}}{\widehat {\lambda }}}-1\right)=0,$ e quindi ${\frac {1}{\widehat {\lambda }}}\sum \limits _{i=1}^{n}x_{i}-n=0,$ ${\widehat {\lambda }}={\frac {1}{n}}\sum \limits _{i=1}^{n}x_{i}={\bar {x}}\,.$ La stima ML di $\lambda$ in una popolazione con distribuzione di Poisson à quindi la media aritmetica dei valori osservati. La consdizione sufficiente per un massimo nel punto $\lambda ={\widehat {\lambda }}$ à soddisfatta ${\frac {\partial ^{2}\log L}{\partial \lambda ^{2}}}=-{\frac {1}{\lambda ^{2}}}\sum \limits _{i=1}^{n}x_{i}<0\,,$ in quanto $\lambda >0$ e un campione casuale con una distribuzione di Poisson non puà presentare valori negativi $x_{i}$.

Stima ML $\lambda$ di una popolazione con distribuzione esponenziale.

La variabile casuale $X$ ha una distribuzione esponenziale con parametro sconosciuto $\lambda <0$. La densità di probabilità di $X$ à: $f_{EX}(x|\lambda )=\left\{{\begin{array}{ll}\lambda e^{-\lambda x}\quad &{\text{per}}\ x\geq 0,\lambda >0\\0&{\text{per}}\ x<0\\\end{array}}\right.$ La funzione di massima verosimiglianza per i valori osservati $x_{1},\dots ,x_{n}$ à $L(\lambda |x_{1},\dots ,x_{n})=\prod _{i=1}^{n}\lambda e^{\lambda x_{i}}=\lambda ^{n}\prod _{i=1}^{n}e^{-\lambda x_{i}}=\lambda ^{n}e^{-\lambda \sum \limits _{i=1}^{n}x_{i}}$ in forma logaritmica: $\log L(\lambda |x_{1},\dots ,x_{n})=n\log \lambda -\lambda \sum \limits _{i=1}^{n}x_{i}\,.$ Derivando rispetto a $\lambda$ e ponendo uguale a zero otteniamo ${\frac {\partial \log L(\lambda )}{\partial \lambda }}={\frac {n}{\widehat {\lambda }}}-\sum \limits _{i=1}^{n}x_{i}=0$ La stima ML ${\widehat {\lambda }}$ di $\lambda$ nella popolazione esponenziale à ${\frac {n}{\widehat {\lambda }}}=\sum \limits _{i=1}^{n}x_{i}$ ${\widehat {\lambda }}={\frac {n}{\sum \limits _{i=1}^{n}x_{i}}}={\frac {1}{\bar {x}}}\,.$ La seconda derivata ripetto a $\lambda$ à ${\frac {\partial ^{2}\log L(\lambda )}{\partial \lambda ^{2}}}=-{\frac {n}{\lambda ^{2}}}\,,$ e quindi la condizione sufficiente per un massimo à soddisfatta dato che $n>0$ e $\lambda >0$.

Il metodo dei minimi quadrati

Estraiamo un campione casuale semplice di dimensione $n$ da una popolazione con valore atteso $E(X)=\mu$ sconosciuto. Le variabili campionarie $X_{i},i=1,\dots ,n$ sono distribuite indipendentemente e identicamente con $E(X_{i})=\mu$ tali che $g_{i}(\mu )=\mu$ per ogni $i$. Il parametro incognito $\mu$ à stimato con il metodo dei minimi quadrati minimizzando la somma dei quadrati degli scarti esistenti tra i valori osservati e quelli teorici ${\widehat {\mu }}$ $Q({\widehat {\mu }})=\sum \limits _{i=1}^{n}(x_{i}-\mu )^{2}$ Derivando rispetto a $\mu$ e ponendo uguale a zero otteniamo: ${\frac {\partial Q({\widehat {\mu }})}{\partial \mu }}=-2\,\sum \limits _{i=1}^{n}(x_{i}-\mu )=0\,.$ Abbiamo quindi la stima di $\mu$ ${\widehat {\mu }}={\frac {1}{n}}\sum \limits _{i=1}^{n}x_{i}={\bar {x}}$ utilizzando le variabili casuali $X_{1},\dots ,X_{n}$ lo stimatore à ${\bar {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}\,.$ La condizione sufficiente per avere un punto di minimo in $\mu ={\widehat {\mu }}$ prevede che la seconda derivata rispetto a $\mu$ sia positiva: ${\frac {\partial ^{2}Q({\widehat {\mu }})}{\partial \mu ^{2}}}=2n>0\,.$ Puà essere dimostrato che per una popolazione con distribuzione $N(\mu ;\sigma )$ i due metodi di stima illustrati forniscono lo stesso risultato per $E(X)=\mu$. La differenza à che il metodo dei minimi quadrati non richiede la conoscenza della distribuzione di $X$ nella popolazione.