Teoria degli errori e fondamenti di statistica/13

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

13 La verifica delle ipotesi (II)

Informazioni sulla fonte del testo

◄

12.7

13.1

►

[p. 227 modifica]

Capitolo13

La verifica delle ipotesi (II)

Nel precedente capitolo 12 abbiamo esaminato varie tecniche che ci permettono di decidere se una caratteristica del processo fisico che ha prodotto un campione di dati è o non è confermata dai dati stessi; tutte queste tecniche non sono che casi particolari di una teoria generale, di cui ora ci occuperemo, senza però scendere in profondità nei dettagli.

In sostanza, nei vari casi del capitolo 12, abbiamo formulato una certa ipotesi $H_{0}$ sulla natura di un fenomeno casuale; e, ammesso per assurdo che questa ipotesi fosse vera, abbiamo associato un ben definito valore della densità di probabilità ad ogni punto $E$ dello spazio ${\mathcal {S}}$ degli eventi.

Se indichiamo con $K$ un valore (arbitrariamente scelto) della probabilità, livello di confidenza nel linguaggio statistico, abbiamo in sostanza diviso ${\mathcal {S}}$ in due sottoinsiemi esclusivi ed esaurienti: uno ${\mathcal {R}}$ di eventi con probabilità complessiva $1-K$ , ed uno ${\mathcal {A}}={\mathcal {S}}-{\mathcal {R}}$ di eventi con probabilità complessiva $K$ .

Per verificare l’ipotesi $H_{0}$ occorre scegliere a priori un valore di $K$ da assumere come il confine che separi, da una parte, eventi che riteniamo ragionevole si possano presentare nell’ambito di pure fluttuazioni casuali se è vera $H_{0}$ ; e, dall’altra, eventi così improbabili (sempre ammesso che $H_{0}$ sia vera) da far sì che la loro effettiva realizzazione debba implicare la falsità dell’ipotesi.

Normalmente si sceglie $K=0.95$ o $K=0.997$ , i valori della probabilità che corrispondono a scarti di due o tre errori quadratici medi per la distribuzione di Gauss, anche se altri valori (come ad esempio $K=0.999$ o $K=0.99$ ) sono abbastanza comuni; e, una volta fatto questo, si rigetta l’ipotesi $H_{0}$ se il [p. 228 modifica]dato a disposizione (un evento $E$ ottenuto dall’effettivo studio del fenomeno in esame) appartiene ad ${\mathcal {R}}$ ; e la si accetta se appartiene ad ${\mathcal {A}}$ .

In realtà nella pratica si presenta in generale la necessità di discriminare tra due ipotesi, sempre mutuamente esclusive, che indicheremo con i simboli $H_{0}$ ed $H_{a}$ e che, usando la terminologia della statistica, si chiamano rispettivamente ipotesi nulla ed ipotesi alternativa; i casi precedenti corrispondono al caso particolare in cui l’ipotesi alternativa coincida con il non realizzarsi di $H_{0}$ .

Ipotesi nulla ed ipotesi alternativa possono essere entrambe eventi semplici, oppure composti (ossia somma logica di più eventualità semplici); e lo scopo di questo capitolo è quello di mostrare dei criteri sulla base dei quali si possa opportunamente definire nello spazio degli eventi una regione di rigetto ${\mathcal {R}}$ per l’ipotesi nulla (e, in corrispondenza, ovviamente, una regione ${\mathcal {A}}={\mathcal {S}}-{\mathcal {R}}$ nella quale tale ipotesi viene accettata).

È chiaro che si corre sempre il rischio di sbagliare: o rigettando erroneamente ipotesi in realtà vere (errori di prima specie) o accettando invece ipotesi in realtà false (errori di seconda specie); e che, allargando o restringendo la regione di rigetto, si può diminuire la probabilità di uno di questi due tipi di errori solo per aumentare la probabilità di quelli dell’altra categoria. Se indichiamo con $P_{I}$ e $P_{II}$ le probabilità degli errori di prima e seconda specie rispettivamente, sulla base della definizione risulta

P_{I}=\Pr(E\in {\mathcal {R}}|H_{0})

e

P_{II}=\Pr(E\in {\mathcal {A}}|H_{a})

.

Quello che abbiamo finora chiamato “livello di confidenza” non è altro che $1-P_{I}$ ; $P_{I}$ viene anche indicato col simbolo $\alpha$ e chiamato significanza del criterio adottato. Infine, la probabilità di non commettere un errore di seconda specie, ovvero la probabilità di rigettare $H_{0}$ quando l’ipotesi nulla è falsa (e quindi quella alternativa è vera) si indica col simbolo $\beta$ e si chiama potenza del criterio adottato; essa vale quindi

$\beta \;=\;\Pr(E\in {\mathcal {R}}|H_{a})\;=\;1-P_{II}$ .

Per fare un esempio concreto, il fisico si trova spesso ad esaminare “eventi” sperimentali e deve decidere se essi sono del tipo desiderato (segnale) o no (fondo): in questo caso l’ipotesi nulla $H_{0}$ consiste nell’appartenenza di un evento al segnale, mentre l’ipotesi alternativa $H_{a}$ corrisponde invece all’appartenenza dello stesso evento al fondo; che in genere non è l’intero insieme di eventi complementare all’ipotesi nulla, ${\bar {H}}_{0}$ , ma si sa restringere ad una classe ben definita di fenomeni.

Gli errori di prima specie consistono in questo caso nello scartare eventi buoni (errori di impoverimento del segnale), e quelli di seconda specie nell’introduzione nel segnale di eventi di fondo (errori di contaminazione). [p. 229 modifica]

I criteri da seguire per definire una regione ${\mathcal {R}}$ nella quale rigettare $H_{0}$ sono dettati dalle caratteristiche del processo di generazione: se gli eventi di fondo sono preponderanti rispetto al segnale, ad esempio, bisognerà evitare gli errori di seconda specie per quanto possibile; anche al prezzo di scartare in questo modo una parte consistente del segnale.

Estendendo al caso generale il metodo seguito nei vari casi del capitolo 12 e prima delineato, se si è in grado di associare ad ogni punto dello spazio degli eventi due valori della probabilità (o della densità di probabilità nel caso di variabili continue), sia ammessa vera l'ipotesi nulla che ammessa invece vera l'ipotesi alternativa, si può pensare di usare il loro rapporto per definire la regione di rigetto.

Limitandoci al caso delle variabili continue, insomma, dopo aver definito una nuova variabile casuale $\lambda$ attraverso la

$\lambda ={\frac {{\mathcal {L}}({\boldsymbol {x}}|H_{0})}{{\mathcal {L}}({\boldsymbol {x}}|H_{a})}}$ ,

possiamo scegliere arbitrariamente un numero reale $k$ e decidere di accettare l'ipotesi $H_{0}$ se $\lambda \geq k$ o di rifiutarla se $\lambda <k$ ; in definitiva ad ogni $k$ ammissibile è associata una differente regione di rigetto ${\mathcal {R}}_{k}$ definita da

${\mathcal {R}}_{k}\;\equiv \;\left\{\lambda ={\frac {{\mathcal {L}}({\boldsymbol {x}}|H_{0})}{{\mathcal {L}}({\boldsymbol {x}}|H_{a})}}<k\right\}$ .

${\mathcal {L}}$ , nelle espressioni precedenti, è la funzione di verosimiglianza; che rappresenta appunto la densità di probabilità corrispondente all'ottenere (sotto una certa ipotesi) un campione di $N$ valori $x_{1},x_{2},\ldots ,x_{N}$ (qui indicato sinteticamente come un vettore ${\boldsymbol {x}}$ a $N$ componenti). Ma in base a quale criterio dobbiamo scegliere $k$ ?