Teoria degli errori e fondamenti di statistica/11.2

by Maurizio Loreti

11.2 La stima di massima verosimiglianza

../11.1 ../11.2.1 IncludiIntestazione 31 agosto 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

11.2 La stima di massima verosimiglianza

◄

11.1

11.2.1

►

11.2 La stima di massima verosimiglianza

Dato un campione di N determinazioni indipendenti $x_{i}$, l’espressione

$\prod _{i=1}^{N}f(x_{i};\theta ^{*})$

rappresenta la densità di probabilità da associare all’evento casuale consistente nell’ottenere una determinata N-pla di valori, essendo $\theta ^{*}$ il valore del parametro da cui la f dipende.

Se in questa espressione si sostituisce al valore vero (che avevamo supposto noto) $\theta ^{*}$ il generico valore $\theta$; e se le $x_{i}$ non vengono considerate più variabili casuali, ma costanti che sono state determinate dalle nostre operazioni di misura, la funzione

${\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )=\prod _{i=1}^{N}f(x_{i};\theta )$

(11.1)

(funzione di verosimiglianza) rappresenta la densità di probabilità da associare all’evento casuale consistente nell’essere un certo $\theta$ il valore vero del nostro parametro, nell’ipotesi di avere già ottenuto la particolare N-pla di valori sperimentali $x_{1},x_{2},\ldots ,x_{N}$.

Il metodo della massima verosimiglianza consiste nell’adottare, come stima del parametro $\theta$, quel valore ${\widehat {\theta }}$ che rende massima la funzione di verosimiglianza (11.1); ovvero la soluzione delle

${\frac {\mathrm {d} {\mathcal {L}}}{\mathrm {d} \theta }}=0$

${\frac {\mathrm {d} ^{2}{\mathcal {L}}}{\mathrm {d} \theta ^{2}}}<0$

(11.2)

(nel caso che le (11.2) abbiano più di una soluzione, si sceglie quella che corrisponde al massimo assoluto).

Visto che il logaritmo naturale è (essendo la base, $e$, maggiore di uno) una funzione monotona strettamente crescente dell’argomento, trovare il massimo di $\ln {\mathcal {L}}$ condurrebbe ancora a tutti e soli i valori che rendono massima ${\mathcal {L}}$; questo corrisponde al sostituire (essendo ${\mathcal {L}}>0$), alla prima delle (11.2), l’equivalente

${\frac {1}{\mathcal {L}}}\,{\frac {\mathrm {d} {\mathcal {L}}}{\mathrm {d} \theta }}\;=\;{\frac {\mathrm {d} \,(\ln {\mathcal {L}})}{\mathrm {d} \theta }}\;=\;0$.

Enunciamo qui, senza dimostrarle, alcune proprietà fondamentali della stima di massima verosimiglianza:

1. La stima di massima verosimiglianza è una stima asintoticamente consistente al crescere della dimensione del campione.
2. La stima di massima verosimiglianza ha una densità di probabilità asintoticamente normale al crescere della dimensione del campione.
3. La stima di massima verosimiglianza è asintoticamente, al crescere della dimensione del campione, anche la stima più efficiente possibile (ossia quella di minima varianza).
4. Se esiste una stima sufficiente di $\theta$, essa può sempre essere espressa come funzione della sola stima di massima verosimiglianza ${\widehat {\theta }}$.

Le ipotesi sotto le quali si riesce a dimostrare che la stima di massima verosimiglianza gode asintoticamente delle proprietà su dette sono estremamente generali: per la normalità basta che esistano i primi due momenti della $f(x;\theta )$; per la consistenza e la massima efficienza basta che $f(x;\theta )$ sia continua, dotata di derivata prima e seconda rispetto al parametro, e che l’operazione di integrazione rispetto a $x$ commuti con quella di derivazione rispetto a $\theta$ (ovvero, in pratica, che il dominio di definizione della $x$ non dipenda dal parametro).

Il teorema di Cramér-Rao (cui si è prima accennato) permette di dimostrare, sotto ipotesi del tutto generali, che esiste un estremo inferiore per le varianze delle stime imparziali di una qualsiasi grandezza dipendente dal parametro $\theta$; non solo, ma che, se una stima di varianza minima esiste, essa rende massima la funzione ai verosimiglianza.

Più in dettaglio: nell’ipotesi che la densità di probabilità $f(x;\theta )$ sia una funzione definita in una regione dell’asse x avente estremi indipendenti dal parametro $\theta$; che esista ovunque la derivata rispetto a $\theta$ di $\ln {f(x;\theta )}$; e, infine, che esista finito il valore medio del quadrato di questa derivata

$E\left\{\left[{\frac {\partial }{\partial \theta }}\ln {(f;\theta )}\right]^{2}\right\}={\frac {1}{N}}\cdot E\left\{\left[{\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}$

il teorema di Cramér-Rao afferma che una qualsiasi stima imparziale ${\bar {\theta }}$ di $\theta$ ha una varianza che non può essere inferiore ad un valore (limite di Cramér-Rao) dato dalla

${\text{Var}}({\bar {\theta }})\geq {\frac {1}{N\cdot E\left\{\left[{\frac {\partial }{\partial \theta }}\ln f(x;\theta )\right]^{2}\right\}}}$.

(11.3)

Inoltre questo estremo inferiore viene raggiunto, e vale il segno di uguaglianza nella (11.3), se e solo se esiste una funzione $R(\theta )$ per la quale risulti

${\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}=\sum _{i=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )={\frac {{\bar {\theta }}(x_{1},x_{2},\ldots ,x_{N})-\theta }{R(\theta )}}$

(11.4)

e, in tal caso, la stima di minima varianza rende anche massima la funzione di verosimiglianza.

La condizione (11.4) è assai restrittiva, potendosi tra l’altro dimostrare che essa implica che la densità di probabilità $f(x;\theta )$ deve essere una funzione di tipo esponenziale: nel caso generale non è quindi affatto certo che una stima di varianza minima esista, essendo questo subordinato alla validità della (11.4).

In ogni caso la stima di massima verosimiglianza deve, come prima detto, tendere asintoticamente a questo comportamento al crescere di N; però nulla si può dire sulla rapidità di tale convergenza. Così, per un numero di misure finito, non c’è alcuna garanzia che la funzione di verosimiglianza abbia un solo massimo; e, se essa ne ammette più d’uno, non esiste modo di sapere quale di essi corrisponde (asintoticamente) alla stima di minima varianza, né esiste modo di sapere quale di questi massimi rappresenti la stima corretta del valore vero.

Come abbiamo detto, la funzione di verosimiglianza (11.1) può essere interpretata come densità di probabilità del parametro una volta che si sia ottenuto un certo insieme di valori misurati; sfruttando la seconda delle proprietà su elencate, la densità di probabilità di $\theta$ deve anche essere (asintoticamente) data da

${\mathcal {L}}(\theta )={\frac {1}{\sigma _{\theta }\,{\sqrt {2\pi }}}}\,e^{-{\frac {1}{2}}\left({\frac {\theta -{\widehat {\theta }}}{\sigma _{\theta }}}\right)^{2}}$

quindi, nell’intorno di ${\widehat {\theta }}$, deve essere

$\ln {\mathcal {L}}=-\ln \left(\sigma _{\theta }\,{\sqrt {2\pi }}\right)-{\frac {1}{2}}\left({\frac {\theta -{\widehat {\theta }}}{\sigma _{\theta }}}\right)^{2}$

e, derivando due volte rispetto al parametro,

${\frac {\mathrm {d} ^{2}(\ln {\mathcal {L}})}{\mathrm {d} \theta ^{2}}}=-{\frac {1}{{\sigma _{\theta }}^{2}}}$

ed infine si giunge alla

${\text{Var}}({\widehat {\theta }})\;\equiv \;{\sigma _{\theta }}^{2}=-{\frac {1}{\left.{\frac {\mathrm {d} ^{2}(\ln {\mathcal {L}})}{\mathrm {d} \theta ^{2}}}\right|_{\theta ={\widehat {\theta }}}}}$

(11.5)

frequentemente usata per il calcolo dell’errore della stima di massima verosimiglianza.