Concetti di base

From MM*Stat International

Jump to: navigation, search
English
Português
Français
‎Español
Italiano
Nederlands


I test statistici ci permettono di verificare, operando su dati campionari, ipotesi formulate sulla distribuzione o sui parametri di una variabile casuale nella popolazione. Tali ipotesi possono basarsi su teorie che vogliamo dimostrare, sulle osservazioni passate, sull’esperienza dell’analista. Come possiamo verificare statisticamente tali ipotesi sulla popolazione? In generale possiamo descrivere il procedimento come segue:
Consideriamo una popolazione con distribuzione e corrispondenti parametri (valore atteso , varianza o proporzione ). Se non siamo in grado di eseguire una rilevazione totale, la distribuzione e i parametri sono sconosciuti. Tuttavia non abbiamo ancora alcuna ipotesi su un determinato parametro delle variabili casuali. Dalla data popolazione estraiamo un campione casuale di numerosità . I risultati ottenuti dal campione vengono confrontati con la nostra ipotesi e sulla base della deviazione tra ipotesi e risultati campionari si determina se l’ipotesi puà essere accettata o meno. In generale rifiutiamo una ipotesi se i risultati campionari sono in chiaro contrasto con essa. Questo procedimento determina una serie di problemi per esempio:

  • come possiamo formulare correttamente l’ipotesi statistica?
  • come otteniamo i risultati campionari (per esempio quale stimatore dobbiamo usare)?
  • come misuriamo la deviazione tra ipotesi e risultati campionari?
  • quando possiamo affermare che la deviazione tra ipotesi e risultati campionari à significativa?

La determinazione di tutti questi punti descrive il processo di prova delle ipotesi. Possiamo spiegare importanti concetti di base della statistica inferenziale formulando una ipotesi su un parametro sconosciuto della popolazione e verificando tale ipotesi. Sia un parametro incognito della funzione di distribuzione della variabile casuale a cui siamo interessati. L’insieme di tutti i possibili valori che il parametro puà assumere viene indicato come spazio parametrico. à il valore assunto dal parametro data la nostra ipotesi.

Formulazione delle ipotesi

La formulazione di una ipotesi implica la definizione di una relazione tra il vero valore del parametro e il valore ipotetico . Nei test statistici si formulano solitamente coppie di ipotesi: l’ipotesi nulla e l’ipotesi alternativa . L’ipotesi nulla costituisce l’oggetto della verifica e deve quindi essere formulata in modo tale che possa essere esaminata con un test statistico. A volte possiamo utilizzare l’assunzione scientifica o teorica come ipotesi nulla, in generale perà à necessario riformulare i termini dell’ipotesi ponendo come ipotesi nulla il contrario della nostra supposizione. L’ipotesi alternativa à l’ipotesi antagonista alla nostra ipotesi nulla. La relazione tra il vero parametro e il valore ipotetico à definita in modo tale che tutti i valori assunti dal parametro sono compresi nell’ipotesi nulla o in quella alternativa. Abbiamo diverse versioni del test:

Ipotesi nulla Ipotesi alternativa
a) Test bilaterali
b) Test unilaterali
a destra
a sinistra

Nel test in a) l’ipotesi nulla à detta anche ipotesi puntuale in quanto si riferisce ad un unico valore del parametro. Per giudicare la validità dell’ipotesi nulla consideriamo le differenze dal valore ipotetico in entrambe le direzioni. Parliamo quindi di test bilaterale o a due code. Nel test in b) l’ipotesi nulla à detta composta in quanto considera tutti i valori che sono al massimo (minimo) ( ; ). In questo caso per verificare l’ipotesi nulla consideriamo solo le deviazioni dal parametro ipotetico in una direzione (da cui il nome test unilaterali). Distinguiamo tra il test a destra e a sinistra a seconda se valori assunti dal parametro maggiori o minori di ci fanno rigettare l’ipotesi nulla a favore di quella alternativa. La scelta tra le due alternative dipende dal problema posto. Altre caratteristiche della formulazione delle ipotesi sono:

  • con un test statistico verifichiamo sempre l’ipotesi nulla
  • le due ipotesi nulla e alternativa sono disgiunte
  • il segno di uguaglianza appartiene sempre all’ipotesi nulla
  • il risultato del test puà ricadere solo nelle due ipotesi, ovvero possiamo accettare l’ipotesi nulla (e quindi rifiutare l’ipotesi alternativa) o rifiutare l’ipotesi nulla (e accettare l’ipotesi alternativa).

I test statistici

Dobbiamo ora determinare una grandezza in base alla quale decidiamo se accettare o rifiutare l’ipotesi nulla. Il test si basa su un campione casuale e quindi questa grandezza deve contenere le informazioni campionarie. Necessitiamo di conseguenza di una funzione delle osservazioni campionarie adatta. Il calcolo di una funzione delle osservazioni campionarie ci porta a definire un test statistico, che viene simbolizzato con . Il test à una funzione delle variabili campionarie e quindi à a sua volta una variabile casuale. Come variabile casuale il test ha una distribuzione . Per poter effettuare la nostra decisione dobbiamo conoscere la distribuzione di supponendo che l’ipotesi nulla sia vera (almeno approssimativamente), ovvero: . Nel caso di un test su un parametro cià significa che la distribuzione di dipende dal parametro : . Per poter determinare concretamente la distribuzione di dobbiamo specificare numericamente il parametro . Tuttavia l’unica informazione di cui disponiamo sul parametro à il valore ipotetico . Supponiamo quindi che à il vero valore parametro nella popolazione, ovvero: . In un test bilaterale cià corrisponde esattamente all’ipotesi nulla. In un test unilaterale, deve essere posto come valore limite nella definizione dell’ipotesi formulata supponendo che l’ipotesi nulla sia vera (abbiamo cosà spiegato perchà il segno di eguaglianza deve essere sempre contenuto nell’ipotesi nulla). In ogni caso supponiamo che data l’ipotesi nulla come vera il test statistico ha una distribuzione conosciuta con il parametro , ovvero: . Se estraiamo un campione di numerosità con le osservazioni , possiamo inserire tali valori nella funzione di test e otteniamo come risulati i punti campione che utilizzeremo come valore per le decisioni.

Zone di decisione e livello di significatività

Dato che il test statistico à una varibile casuale, puà assumere diversi valori. Se sulla base dei dati campionari possiamo determinare un valore campione che si avvicina al valore ipotetico , possiamo in un certo senso considerare la differenza tra e come casuale. L’ipotesi nulla non viene rifiutata in questo caso. Tuttavia cià non significa che l’ipotesi nulla sia corretta, ovvero che sia il vero parametro. Cià significa solamente che il risualtato campionario non à in contraddizione con il fatto che il test statistico abbia una distribuzione specificata dal parametro . Se dai dati campionari otteniamo un punto campione che si discosta notevolmente dal valore ipotetico possiamo concludere che l’ipotesi nulla à improbabile. Tale valore (distante da si verifica se l’ipotesi alternativa à vera e di conseguenza possiamo rifiutare l’ipotesi nulla. Possiamo quindi concludere che il test statistico ha una distribuzione con un parametro diverso da . Tuttavia cià non significa che l’ipotesi nulla sia effettivamente falsa in quanto il fatto che si discosti dal valore ipotetico indica che l’ipotesi à improbabile ma non impossibile. In base a queste considerazioni suddividiamo l’insieme di tutti i possibili risultati del test statistico in due zone a seconda se l’ipotesi nulla à plausivbile o meno.

Zona di accettazione dell’ipotesi nulla

La zona di accettazione dell’ipotesi nulla à l’insieme dei risultati del test statistico per i quali decidiamo di accettare .

La regione critica dell’ipotesi nulla

La regione critica dell’ipotesi nulla corrisponde all’insieme di risultati di che ci portano al rifiuto di . Le due zone di accettazione e di rifiuto di sono complementari. I valori che suddividono le due zone sono indicati come soglie discriminanti o valori critici e appartengono alla zona di accettazione. Per poter determinare numericamente questi valori critici ai quali à legata la nostra decisione dobbiamo distinguere i risultati del test statistico V plausibili da quelli implausibili in presenza dell’ipotesi nulla. Cià avviene grazie al calcolo delle probabilità:
La probabilità che in presenza dell’ipotesi nulla, il test statistico assuma valori nella regione critica di , non deve essere maggiore di un determinato : Allo stesso modo la probabilità che inpresenza dell’ipotesi nulla il test statistico assuma valori nella zona di accettazione di deve essere per lo meno : Data la probabilità predeterminata , possiamo derivare i valori critici con la funzione di ripartizione del test statistico , . Per fare cià la distribuzione di in presenza dell’ipotesi nulla deve essere almeno approssimativamente conosciuta. La probabilità determina se il campione si discosta significativamente dall’ipotesi nulla e viene quindi indicata come livello significativo. Normalmente si sceglie un valore di piccolo (a seconda del problema tra , o ) cosà che l’ipotesi nulla viene rifiutata solo se il campione à in forte contrasto con tale ipotesi. Deriviamo ora le regioni critiche in presenza di e dato per diversi tipi di test. Supponiamo che sia distribuito normalmente. regione critica di : In un test bilaterale la regione critica si divide in due parti: scostamenti troppo grandi in entrambe le direzioni del test statistico da portano a un rifiuto dell’ipotesi nulla. Abbiamo due soglie determinanti indicate con e . La regione critica di consite di tutti i valori assunti dal test statistico minori della soglia inferiore (lower critical value ) o maggiori alla soglia superiore (upper critical value ): La probabilità di ottenere un valore che ricade nella regione critica à pari al livello di significatività : Zona di accettazione di : La zona di accettazione di comprende tutti i possibili valori del test statistico minori (o uguali) al valore critico superiore e maggiori (o uguali) al valore critico inferiore : La probabilità di ottenere un valore che ricade nella zona di accettazione à pari a : Fig: 1 Distribuzione del test statistico sotto l’ipotesi e zone critiche nel test bilaterale.

En s2 50 1.gif

?? Nei test unilaterali abbiamo solo una regione critica in quanto consideriamo solo scostamenti del test statistico dal valore ipotetico del parametro in una direzione. Il valore critico à simbolizzato con . Test unilaterale sinistro: regione critica di :
la regione critica di comprende tutti i valori del test statistico minori di : La probabilità che il test statistico assuma un valore che ricade nella regione critica à pari a : Zona di accettazione di :
La zona di accettazione di comprende tutti i valori del test statistico maggiori o uguali a : La probabilità che il test statistico assuma un valore che ricade nella zona di accettazione à almeno pari a : Fig. 2 Distribuzione del test statistico sotto e zone critiche nel test unilaterale sinistro.

En s2 50 2.gif

regione critica | Zona di accettazione Test unilaterale destro:
regione critica di :
la regione critica di comprende tutti i valori del test statistico maggiori di : La probabilità che il test statistico assuma un valore che ricade nella regione critica à pari a : Zona di accettazione di :
La zona di accettazione di comprende tutti i valori del test statistico minori o uguali a : La probabilità che il test statistico assuma un valore che ricade nella zona di accettazione à almeno pari a : Fig. 3 Distribuzione del test statistico sotto e zone critiche nel test unilaterale destro.

En s2 50 3.gif

Zona di accettazione | regione critica Gli errori di prima e seconda specie nei test statistici
I test statistici si basano sui risultati campionari e possono quindi contenere errori. A seconda del risultato concreto fornito dal campione accettiamo o rifiutiamo in base al test statistico , l’ipotesi nulla. Utilizziamo i seguenti simboli: ‘’: in base al test accettiamo l’ipotesi nulla. ‘’: il test ci porta al rifiuto dell’ipotesi nulla (accettazione dell’ipotesi alternativa). Allo stesso modo abbiamo 2 possibilità per la vera sistuazione nella popolazione: : l’ipotesi nulla à vera : l’ipotesi nulla à sbagliata Abbiamo quindi 4 possibilità di decisione con le corrispondenti probabilità:

Decisone sulla base del test eseguito
accettiamo ‘ Decisione corretta Errore di seconda specie
& ‘

& &
accettiamo ‘’ & Errore di prima specie & Decisione corretta
& ‘ & ‘
& &

Esaminiamo innanzitutto le decisioni possibili nel caso in cui l’ipotesi nulla sia vera. Se in base ai risultati campionari rileviamo uno scostamento tra il valore assunto dal test e il valore ipotetico (ovvero ricade nella regione critica di ), rifiutiamo l’ipotesi nulla (‘’). Nella realtà perà l’ipotesi nulla à vera; abbiamo quindi commesso un errore (‘) che viene indicato come errore di prima specie o .
Un tale errore non puà essere escluso quando si conduce un test in quanto un valore del test statistico che si discosta di molto da in presenza di à relativamente poco probabile ma non impossibile. Dobbiamo quindi assicurarci che tale probabilità rimanga nei limiti di un livello (molto basso) determinato a priori. La probabilità di commettere errori di prima specie à data da , il livello di significatività, e indica la probabilità in presenza dell’ipotesi nulla che il valore assunto dal test statistico ricada nella regione critica di . L’errore di prima specie consiste nel respingere l’ipotesi nulla quando essa à vera e corrisponde al livello di significatività : Se in base al campione il valore assunto da ricade nella zona di accettazione di accettiamo l’ipotesi nulla (‘’). Se nella realtà à vera abbiamo preso una decisione corretta (). La probabilità di questa decisione corretta à data da . Esaminiamo adesso le decisioni possibili nel caso in cui l’ipotesi alternativa sia vera. Se in base ai risultati campionari il valore si discosta relativamente poco dal valore ipotetico del parametro (ovvero ricade nella zona di accettazione di ) accettiamo l’ipotesi nulla . Nella situazione vera perà à vera ; abbiamo quindi commesso un errore che indichiamo come errore di seconda specie o . Anche in questo caso non possiamo escludere un tale errore in quanto il fatto che il valore assunto dal test statistico in presenza di si discosti poco da à normalmente improbabile ma comunque non impossibile. L’errore di seconda specie consiste nell’accettare l’ipotesi nulla quando essa sia falsa. indica la probabilità di commettere un errore di seconda specie quando à il vero parametro della popolazione: Si noti che questa probabilità à sconosciuta in quanto il vero parametro della popolazione à incognito. Quando in base ai risultati compionari otteniamo un valore del test statistico che ricade nella regione critica di , rifiutiamo l’ipotesi nulla (e accettiamo ). In questo caso l’ipotesi alternativa à vera e quindi effettuiamo una decisione corretta (). La probabilità di questa decisione à data da: La probabilità di commettere un errore di seconda specie dipende dal valore dato di . Se manteniamo costante la numerosità campionaria e riduciamo aumentiamo la probabilità di commettere un errore di seconda specie e viceversa. Non possiamo quindi ridurre contemporaneamente entrambi gli errori. Nel grafico illustriamo questa relazione per un test unilaterale destro con distribuzione normale del test statistico . Fig. 4 Relazione tra livello di significatività e probabilità di un errore di seconda specie.

En s2 50 4.gif

Zona di accettazione | regione critica

En s2 50 5.gif

Zona di accettazione | regione critica Come già menzionato la probabilità di commettere un errore di seconda specie (dato il livello di significatività e la numerosità campionaria ) dipende dalla posizione del vero parametro rispetto a sotto . Se lo scostamento à grande, à piccolo. La probabilità di un errore di seconda specie aumenta tanto pià piccola à la distanza tra il vero parametro e sotto . Illustriamo graficamente questa relazione con un test unilaterale destro e test statistico distribuito normalmente. Fig. 5 Distribuzione del test statistico sotto e sotto .

En s2 50 6.gif

Zona di accettazione | regione critica

En s2 50 7.gif

Zona di accettazione | regione critica Quando si conduce un test bisogna tenere presente che ci basiamo sui dati campionari in quanto la situazione vera non à conosciuta e quindi possiamo commettere degli errori. L’accettazione dell’ipotesi nulla non significa quindi che abbiamo dimostrato che à vera!! Abbiamo semplicemente osservato dei risultati campionari che non sono in contrasto con essa. L’accettazione o il rifiuto dell’ipotesi nulla hanno differente valore conclusivo. Se rifiutiamo , la probabilità di commettere un errore di prima specie à limitata al valore predeterminato dal livello di significatività. L’accettazione di al contrario implica una maggiore insicurezza in quanto la probabilità di commettere un errore di seconda specie non puà essere valutata e potrebbe essere anche molto grande. Per questo motivo inseriamo nell’ipotesi alternativa una supposizione che vogliamo confermare statisticamente. L’erronea accettazione di tale ipotesi ha conseguenze importanti. Cià à osservabile soprattutto nei test unilaterali.

La potenza del test

La probabilità di respingere l’ipotesi nulla in base a tutti i possibili parametri (ovvero quelli dell’ipotesi nulla e dell’ipotesi alternativa) à detta potenza del test e simbolizzata con : Se il vero parametro appartiene ai parametri dell’ipotesi alternativa abbiamo, in base ai risultati campionari, preso una decisione corretta: . La potenza del test ci fornisce in questo caso la probabilità per il giustificato rifiuto dell’ipotesi nulla (e quindi accettazione dell’ipoteasi alternativa): dove à l’insieme dei parametri in presenza dell’ipotesi alternativa. Se il vero valore del parametro appartiene alla distribuzione dell’ipotesi nulla, abbiamo preso una decisione sbagliata . La potenza del test ci fornisce in questo caso la probabilità di commettere un errore di prima specie: dove à l’insieme di parametri in presenza dell’ipotesi nulla. La potenza di un test misura l’affidabilità di un test nel rifiutare correttamente l’ipotesi nulla.

La curva OC

, à la probabilità come funzione di di non rifiutare l’ipotesi nulla ed à detta caratteristica operativa di un test (curva OC): Se il vero parametro appartiene ai parametri dell’ ipotesi alternativa, abbiamo preso una decisione sbagliata . La caratteristica operativa ci indica in questo caso la probabilità di un errore di seconda specie: dove à l’insieme dei parametri in presenza dell’ipotesi alternativa. Se d’altra parte il vero parametro appartiene ai parametri dell’ipotesi nulla, abbiamo preso una decisione corretta . La potenza del test ci indica in questo caso la probabilità per la corretta accettazione dell’ipotesi nulla: dove à l’insieme dei parametri in presenza dell’ipotesi nulla. La forma della funzione di potenza e della caratteristica operativa dipende da

  • il test statistico utilizzato e la sua distribuzione che deve essere determinata non solo in presenza dell’ipotesi nulla ma per ogni possibile valore dei parametri per poter calcolare e ,
  • il livello di significatività ,
  • la numerosità campionaria .

Per scopi illustrativi supponiamo che:

  • eseguiamo un test unilaterale destro sul parametro : e
  • il test statistico ha, in presenza dell’ipotesi nulla, una distribuzione normale.

La regione critica di consiste di tutti quei valori assunti dal test statistico maggiori della soglia discriminante : . La probabilità di ottenere un valore che ricade nella regione critica di corrisponde al livello di significatività , ed à rappresentato dalla zona verde nel seguente grafico.

En s2 50 m1 1.gif

Zona di accettazione | Regione critica La decisione viene effettuata come segue: se, dato il livello di significatività e la numerosità campionaria , il valore calcolato dai dati campionari à elemento della regione critica di , rifiutiamo l’ipotesi nulla. In alternativa non possiamo rifiutarla. La decisone si basa quindi sul confronto del valore del test statistico e la soglia discriminante. Utilizzando programmi di statistica (per esempio: SAS, SPSS, Statistica, Systat, XploRe) oltre a calcolare il valore sulla base dei dati campionari siamo in grado di ottenere la probabilità che assuma valori maggiori al valore (calcolato in presenza dell’ipotesi nulla): . I pacchetti software in uso indicano questa probabilità con -value o significance o 1-tailed P per test unilaterali o 2-tailed P per i test bilaterali. In questo caso utilizziamo che indica . Nella figura 2 viene indicata tale probabilità nella zona azzurra.

En s2 50 m1 2.gif

Utilizzando un pacchetto software possiamo quindi evitare di controllare sulle tavole della distribuzione del test statistico per sapere la soglia discriminante e la corrispondente probabilità. Il programma ci fornisce tutte le informazioni necessarie per effettuare una decisione che in questo caso si riduce al confronto del livello di significatività con il -value: Se in base ad un campione otteniamo il valore del test che si discosta sostanzialmente da , il -value per la probabilità sarà molto piccolo. In presenza dell’ipotesi nulla à un valore estremo che rende l’ipotesi nulla improbabile. Un tale valore di si verifica pià facilmente sotto l’ipotesi alternativa, portandoci ad affermare che si discosta significativamente da , ovvero rifiutiamo l’ipotesi nulla. Regole di decisione: Se otteniamo un -value minore di () abbiamo un valore che ricade nella regione critica di per il dato livello di significatività . Di conseguenza dobbiamo rifiutare l’ipotesi nulla. Cià vale per i test unilaterali sia destro che sinistro. Nel nostro esempio abbiamo , per il test sinistro . Il seguente grafico illustra il test unilaterale destro.

En s2 50 m1 3.gif

Zona di accettazione | Regione critica Se in base ai dati campionari otteniamo un valore del test statistico relativamente vicino a , il nostro -value per in presenza dell’ipotesi nulla sarà molto grande. In presenza dell’ipotesi nulla sembra essere un valore plausibile e lo scostamento tra e puà essere considerato accidentale. In questo caso accettiamo l’ipotesi nulla. La regola di decisione à: Per il valore del test statistico ricade nella zona di accettazione di , e quindi accettiamo l’ipotesi nulla.

En s2 50 m1 4.gif

Zona di accettazione | Regione critica La regola vale sia per test unilaterali destro e sinistro sia per test bilaterali. I test statistici sono metodi di verifica in base ai dati campionari di ipotesi formulate sulla distribuzione o sui parametri di una variabile casuale nella popolazione. Accanto ai processi di stima costituiscono una parte importante della statistica inferenziale, in quanto possiamo utilizzare i dati campionari per dedurre informazioni sulla popolazione. Per illustrare meglio la metodologia dei test statistici presentiamo alcuni esempi. Una grossa impresa produttrice di sofware à diventata oggetto di pubblica discussione a causa di un processo giudiziario di cui à parte. La ditta vuole stabilire se questa situazione ha danneggiato i profitti. Il profitto mensile medio del periodo antecedente al processo giudiziario à noto e costituisce il nostro valore ipotetico. Calcoliamo poi il profitto mensile medio per i mesi selezionati a caso nel periodo del processo. L’ipotesi da verificare à: il profitto mensile medio à inferiore a quello antecedente al processo. La variabile casuale à il profitto medio. Con il test statistico verifichiamo l’ipotesi sul valore atteso della distribuzione della variabile casuale. Un’organizzazione ambientalista afferma che la quota di cittadini che sono contrari al nucleare à del . I responsabili delle centrali nucleari considerano questa quota una sopravalutazione della quota effettiva e vogliono dimostrarlo statisticamente grazie ad un test statistico sulla base di un campione (sondaggio sui cittadini selezionati casualmente). In questo caso abbiamo quindi un carattere dicotomico “posizione riguardo al nucleare” con le due realizzazioni: a favore o contro. Dobbiamo quindi verificare se la quota effettiva della popolazione contraria al nucleare corrisponde a quella data dall’organizzazione ambientalista dello . In entrambi questi esempi verifichiamo un’ipotesi su un parametro sconosciuto della popolazione. Tali test sono chiamati test parametrici. Dato che questi test si basano su un solo campione casuale sono detti anche test unicampionari. Due produttori di telefonia mobile affermano nelle loro campagne pubblicitarie di fornire il telefonino con il tempo di stand-by pià lungo sul mercato. Un’associazione di consumatori vuole verificare se effettivamente ci sono differenze tra i due telefonini. Per poter fare un confronto dobbiamo chiaramente prendere in considerazione i tempi di stand-by medi dei telefonini. Con il test statistico verifichiamo l’ipotesi che i tempi medi siano sostanzialmente uguali. Per eseguire il test etraiamo dalle due popolazionni due campioni indipendenti l’uno dall’altro. In questo esempio si tratta di un test parametrico. Il test si basa sui dati di due campioni e quindi viene denominato test bicampionario. Abbiamo un dado non truccato: ogni faccia del dado ha la stessa probabilità di apparire. Verifichiamo quindi che la variabile casuale “faccia del dado” ha una distribuzione uniforme discreta. Nel test verifichiamo un’ipotesi sulla distribuzione della variabile casuale e quindi parliamo di un test nonparametrico.