Teoria degli errori e fondamenti di statistica/E

by Maurizio Loreti

E La funzione di verosimiglianza

../D ../F IncludiIntestazione 4 settembre 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

E La funzione di verosimiglianza

◄

D

F

►

---

Appendice E

La funzione di verosimiglianza

---

Si supponga di aver compiuto $N$ osservazioni indipendenti relative ad una grandezza fisica $x$, e di aver trovato i valori $x_{i}$, con $i=1,2,\ldots ,N$. Ciascuna delle variabili casuali $x_{i}$ abbia poi densità di probabilità data da una funzione nota $f_{i}(x_{i};\theta )$; funzione che supponiamo dipenda da un parametro $\theta$ di valore vero $\theta ^{*}$ ignoto, e definita in un intervallo dell’asse reale delle $x_{i}$ con estremi indipendenti da $\theta$ (che potremo assumere essere $\pm \infty$ ponendo eventualmente $f_{i}(x_{i};\theta )\equiv 0$ esternamente all’intervallo di definizione).

Una stima di una generica funzione nota del parametro, $\tau (\theta )$, che supporremo con derivata non nulla, è una funzione dei soli valori osservati $t(x_{1},x_{2},\ldots ,x_{N})$; dunque a sua volta una variabile casuale, con associata una funzione densità di probabilità che indicheremo con $g(t;\theta )$. La stima si dice imparziale (o indistorta) quando il suo valore medio

$E(t)$	$=\int _{-\infty }^{+\infty }\,t\,g(t;\theta )\,\mathrm {d} t$
	$=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )\,t(x_{1},x_{2},\ldots ,x_{N})$

è uguale al rispettivo valore vero:

$E(t)=\tau (\theta )$.

Il caso particolare della stima del parametro stesso corrisponde alla funzione $\tau (\theta )=\theta$, che soddisfa evidentemente alla richiesta di possedere derivata prima non nulla $\tau '(\theta )=1$.

Una importante proprietà della stima $t$ è la sua varianza, data (se essa è imparziale) da

${\sigma _{t}}^{2}$	$=\int _{-\infty }^{+\infty }\,{\bigl [}t-\tau (\theta ){\bigr ]}^{2}g(t;\theta )\,\mathrm {d} t$
	$=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )\,{\bigl [}t(x_{1},x_{2},\ldots ,x_{N})\tau (\theta ){\bigr ]}^{2}$

perché la minima varianza sarà il nostro criterio di scelta fra diverse stime di $\tau (\theta )$.

Il teorema che segue (teorema di Cramér-Rao) mostra che esiste un limite inferiore per la varianza di una stima. Osserviamo per prima cosa che la densità di probabilità per la $N$-pla $(x_{1},x_{2},\ldots ,x_{N})$ risulta

$\prod _{i=1}^{N}f_{i}(x_{i};\theta ^{*})$

per il teorema della probabilità composta; se in luogo del valore vero $\theta ^{*}$ si pone il parametro variabile $\theta$, si ottiene la funzione di verosimiglianza

${\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )=\prod _{i=1}^{N}f_{i}(x_{i};\theta )$.

La condizione di normalizzazione di ciascuna $f_{i}$ comporta che l’integrale della verosimiglianza su tutti i domini delle variabili $x_{i}$ valga 1:

$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )\;=$

$=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\,f_{2}(x_{2};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )$

$=\prod _{i=1}^{N}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{i}\,f_{i}(x_{i};\theta )$

$\equiv \;1$

indipendentemente dal valore di $\theta$. Derivando sotto il segno di integrale rispetto a $\theta$, dato che i domini delle $f_{i}(x_{i};\theta )$ non dipendono da detta variabile si ottiene

$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}=0$

da cui, dividendo e moltiplicando l’integrando per ${\mathcal {L}}$, risulta

$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}$	$\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\mathcal {L}}\left({\frac {1}{\mathcal {L}}}\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}\right)\;=$
	$=\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,{\mathcal {L}}\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
	$=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}f_{N}(x_{N};\theta )\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
	$=\;0$

ossia

$E\left\{{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}=0$

(E.1)

Se $t$ è imparziale

$E(t)\;=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t(x_{1},x_{2},\ldots ,x_{N})\,{\mathcal {L}}(x_{1},x_{2},\ldots ,x_{N};\theta )\;=\;\tau (\theta )$

da cui, derivando ambo i membri rispetto a $\theta$,

$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}=\tau '(\theta )$.

Dividendo e moltiplicando poi l’integrando per la verosimiglianza ${\mathcal {L}}$, risulta

$\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\int _{-\infty }^{+\infty }\,\mathrm {d} x_{2}$	$\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}\;=$
	$=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,t\,{\mathcal {L}}\left({\frac {1}{\mathcal {L}}}\,{\frac {\partial {\mathcal {L}}}{\partial \theta }}\right)$
	$=\;\int _{-\infty }^{+\infty }\,\mathrm {d} x_{1}\,f_{1}(x_{1};\theta )\cdots \int _{-\infty }^{+\infty }\,\mathrm {d} x_{N}\,f_{N}(x_{N};\theta )\,t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$
	$=\;E\left\{t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}$

e, in definitiva,

$E\left\{t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}=\tau '(\theta )$

Infine, sottraendo membro a membro da questa equazione la precedente (E.1) moltiplicata per $\tau (\theta )$, si ottiene

$E\left\{t\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}-\tau (\theta )\cdot E\left\{{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}=\tau '(\theta )$

ovvero

$E\left\{{\bigl [}t-\tau (\theta ){\bigr ]}\cdot {\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}=\tau '(\theta )$.

Se ora si definiscono il rapporto

$R(\theta )={\frac {E\left\{\left[t-\tau (\theta )\right]\cdot {\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right\}}{E\left\{\left[{\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}}}={\frac {\tau '(\theta )}{E\left\{\left[{\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}}}$

(che è una costante dipendente da $\theta$; osserviamo anche che deve risultare $R(\theta )\neq 0$) e la variabile casuale

$z=\left[t-\tau (\theta )\right]-R(\theta )\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}$

il cui quadrato risulta essere

$z^{2}=\left[t-\tau (\theta )\right]^{2}-2\,R(\theta )\cdot \left[t-\tau (\theta )\right]{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}+R^{2}(\theta )\cdot \left[{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}$

prendendo il valore medio di $z^{2}$ si ottiene

$E(z^{2})\;=\;E\left\{{\bigl [}t-\tau (\theta ){\bigr ]}^{2}\right\}-2\,R(\theta )\cdot E\left\{{\bigl [}t-\tau (\theta ){\bigr ]}\cdot {\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right\}+$

$+\;R^{2}(\theta )\cdot E\left\{\left[{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}$

ossia

$E(z^{2})\;=\;{\sigma _{t}}^{2}2\,{\frac {\tau '(\theta )}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}\,\tau '(\theta )+$

$+\;\left\{{\frac {\tau '(\theta )}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}\right\}^{2}E\left\{\left[{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}$

ed infine

$E(z^{2})$	$=\;{\sigma _{t}}^{2}-2{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}+{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}$
	$=\;{\sigma _{t}}^{2}-{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}$.

Ma il valore medio del quadrato di una qualsiasi variabile casuale non può essere negativo, e dunque

$0\;\leq \;E(z^{2})\;=\;{\sigma _{t}}^{2}-{\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\right]^{2}\right\}}}$

ed infine

${\sigma _{t}}^{2}\geq {\frac {\left[\tau '(\theta )\right]^{2}}{E\left\{\left[{\dfrac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}}}=\left[\tau '(\theta )\right]^{2}\,{\frac {R(\theta )}{\tau '(\theta )}}=\tau '(\theta )\cdot R(\theta )$

cioè:

Nessuna funzione dei valori osservati $t(x_{1},x_{2},\ldots ,x_{N})$, che sia stima imparziale di una funzione del parametro $\tau (\theta )$, può avere varianza inferiore ad un limite determinato.

La varianza minima si raggiunge se e soltanto se $E(z^{2})$ è nullo, il che è possibile solo se $z$ è nulla ovunque, cioè se

$z\;=\;t-\tau (\theta )-R(\theta )\,{\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\;\equiv \;0$

o, altrimenti detto, se la derivata logaritmica della verosimiglianza è proporzionale alla variabile casuale $t-\tau (\theta )$:

${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\;=\;{\frac {t-\tau (\theta )}{R(\theta )}}$

(E.2)

Nel caso particolare che tutte le $x_{i}$ provengano dalla stessa popolazione, e che quindi abbiano la stessa densità di probabilità $f(x;\theta )$,

${\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\;=\;{\frac {\partial }{\partial \theta }}\sum _{i=1}^{N}\ln f(x_{i};\theta )\;=\;\sum _{i=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )$

$E\left\{{\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right\}\;=\;\sum _{i=1}^{N}E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right\}\;=\;N\cdot E\left\{{\frac {\partial }{\partial \theta }}\ln f(x;\theta )\right\}$

e, tenuto conto della (E.1), questo implica che

$E\left\{{\frac {\partial }{\partial \theta }}\ln f(x;\theta )\right\}\;=\;0$.

(E.3)

Ora

$E\left\{\left[{\frac {\partial (\ln {\mathcal {L}})}{\partial \theta }}\right]^{2}\right\}=E\left\{\left[\sum _{i=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right]\left[\sum _{k=1}^{N}{\frac {\partial }{\partial \theta }}\ln f(x_{k};\theta )\right]\right\}$

$=\sum _{i=1}^{N}E\left\{\left[{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right]^{2}\right\}+\sum _{\begin{array}{c}i,k\\i\neq k\end{array}}E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\cdot {\frac {\partial }{\partial \theta }}\ln f(x_{k};\theta )\right\}$

$=N\cdot E\left\{\left[{\frac {\partial }{\partial \theta }}\ln f(x;\theta )\right]^{2}\right\}+\sum _{\begin{array}{c}i,k\\i\neq k\end{array}}E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{i};\theta )\right\}\cdot E\left\{{\frac {\partial }{\partial \theta }}\ln f(x_{k};\theta )\right\}$

(tenendo conto del fatto che le $x_{i}$ sono indipendenti); l’ultimo termine si annulla in conseguenza della (E.3), ed infine, in questo caso, il minorante della varianza della stima si può scrivere

${\sigma _{t}}^{2}\;\geq \;{\frac {[\tau '(\theta )]^{2}}{N\cdot E\left\{\left[{\dfrac {\partial }{\partial \theta }}\ln f(x;\theta )\right]^{2}\right\}}}$

Col metodo della massima verosimiglianza si assume, come stima del valore vero $\theta ^{*}$ del parametro $\theta$, quel valore ${\widehat {\theta }}$ che rende massima la verosimiglianza ${\mathcal {L}}$ per i valori osservati delle variabili, $x_{1},x_{2},\ldots ,x_{N}$.

Ora, nel caso esista una stima di minima varianza $t$ per la funzione $\tau (\theta )$, tenendo conto della (E.2) la condizione perché la funzione di verosimiglianza abbia un estremante diviene

${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \theta }}\;=\;{\frac {t-\tau (\theta )}{R(\theta )}}\;=\;0$

e le soluzioni ${\widehat {\theta }}$ sono tutte e sole quelle dell’equazione

$\tau (\theta )=t(x_{1},x_{2},\ldots ,x_{N})$.

La derivata seconda di $\ln {\mathcal {L}}$ è in tal caso

${\frac {\partial ^{2}\left(\ln {\mathcal {L}}\right)}{\partial \theta ^{2}}}$	$=-\,{\frac {\tau '(\theta )\cdot R(\theta )+R'(\theta )\cdot \left[t-\tau (\theta )\right]}{R^{2}(\theta )}}$
	$=-\,{\frac {{\sigma _{t}}^{2}+R'(\theta )\cdot \left[t-\tau (\theta )\right]}{R^{2}(\theta )}}$

ma se $\theta ={\widehat {\theta }}$ è anche $t-\tau {\bigl (}{\widehat {\theta }}\,{\bigr )}=0$ e risulta

$\left[{\frac {\partial ^{2}\left(\ln {\mathcal {L}}\right)}{\partial \theta ^{2}}}\right]_{\theta ={\widehat {\theta }}}\;=\;-\,{\frac {{\sigma _{t}}^{2}}{R^{2}{\bigl (}{\widehat {\theta }}\,{\bigr )}}}\;<\;0$;

cioè per tutte le soluzioni $\theta ={\widehat {\theta }}$ la verosimiglianza è massima.

Ora, se la funzione $\ln {\mathcal {L}}$ è regolare, tra due massimi deve esistere un minimo; dato che non esistono minimi, ne consegue che il massimo è unico ed in corrispondenza al valore della funzione $\tau ^{-1}$ inversa di $\tau (\theta )$ e calcolata in $t(x_{1},x_{2},\ldots ,x_{N})$:

${\widehat {\theta }}\;=\;\tau ^{-1}\left[t(x_{1},x_{2},\ldots ,x_{N})\right]$.

La statistica $t(x_{1},x_{2},\ldots ,x_{N})$ (come viene anche indicata una funzione dei dati) di minima varianza è un caso particolare di statistica sufficiente per il parametro $\theta$, come è chiamata una funzione dei valori osservati, se esiste, che riassume in sé tutta l’informazione che i dati possono fornire sul valore del parametro.

Se $x_{1},x_{2},\ldots ,x_{N}$ sono i valori osservati di $N$ variabili casuali normali con lo stesso valore medio $\lambda$ e varianze rispettive $\sigma _{i}$ supposte note, la verosimiglianza è

${\mathcal {L}}\;=\;\prod _{i=1}^{N}{\frac {1}{\sigma _{i}\,{\sqrt {2\pi }}}}\,e^{\textstyle -{\frac {1}{2}}{\bigl (}{\frac {x_{i}-\lambda }{\sigma _{i}}}{\bigr )}^{2}}$

il suo logaritmo

$\ln {\mathcal {L}}\;=\;-\,{\frac {1}{2}}\sum _{i=1}^{N}{\frac {\left(x_{i}-\lambda \right)^{2}}{{\sigma _{i}}^{2}}}\,-\,\sum _{i=1}^{N}\ln \left(\sigma _{i}\,{\sqrt {2\pi }}\right)$

e la sua derivata rispetto al parametro $\lambda$

${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \lambda }}\;=\;\sum _{i=1}^{N}{\frac {x_{i}-\lambda }{{\sigma _{i}}^{2}}}\;=\;\left(\sum \nolimits _{i}{\frac {1}{{\sigma _{i}}^{2}}}\right)\left({\frac {\displaystyle \sum \nolimits _{i}{\frac {x_{i}}{{\sigma _{i}}^{2}}}}{\displaystyle {\sum \nolimits _{i}{\frac {1}{{\sigma _{i}}^{2}}}}}}\,-\lambda \right)$.

Pertanto la media dei dati, pesati con coefficienti inversamente proporzionali alle varianze, è una stima di minima varianza per $\lambda$. Se le $N$ varianze sono poi tutte uguali tra loro e di valore $\sigma ^{2}$, risulta

${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \lambda }}\;=\;{\frac {1}{\sigma ^{2}}}\left[\left(\,\sum _{i=1}^{N}x_{i}\right)-N\lambda \right]\;=\;{\frac {N}{\sigma ^{2}}}\left({\bar {x}}-\lambda \right)\;=\;{\frac {{\bar {x}}-\lambda }{R}}$

ed in tal caso la media aritmetica del campione è una stima di minima varianza per $\lambda$. Sempre in tal caso è poi

$R(\lambda )\;\equiv \;R\;=\;{\frac {\sigma ^{2}}{N}}$

con

$\tau (\lambda )\equiv \lambda$

e

$\tau '(\lambda )\;=\;1$

dunque

${\text{Var}}({\bar {x}})\;=\;\tau '\,R\;=\;{\frac {\sigma ^{2}}{N}}$

come d’altra parte già si sapeva.

Qui la media del campione è un esempio di statistica sufficiente per $\lambda$; infatti non ha alcuna importanza quali siano i singoli valori $x_{i}$: ma se le medie di due diversi campioni sono uguali, le conclusioni che si possono trarre sul valore di $\lambda$ sono le medesime.

Supponendo di conoscere il valore medio $\lambda$, la stima della varianza $\sigma ^{2}$ si ottiene cercando lo zero della derivata logaritmica

${\frac {\partial \left(\ln {\mathcal {L}}\right)}{\partial \sigma }}\;=\;{\frac {1}{\sigma ^{3}}}\left[\,\sum _{i=1}^{N}(x_{i}-\lambda )^{2}\right]-{\frac {N}{\sigma }}\;=\;{\frac {N}{\sigma ^{3}}}\,\left\{\left[{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\lambda )^{2}\right]-\sigma ^{2}\right\}$

la quale ha la forma richiesta perché la soluzione

${\widehat {\sigma }}^{2}={\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\lambda )^{2}$

sia una stima di $\sigma ^{2}$ con minima varianza, data da

${\text{Var}}\left\{{\frac {1}{N}}\sum _{i=1}^{N}(x_{i}-\lambda )^{2}\right\}=\tau 'R\;=\;2\,\sigma \,{\frac {\sigma ^{3}}{N}}\;=\;{\frac {2\sigma ^{4}}{N}}$

essendo $R(\sigma )=\sigma ^{3}/N$, $\tau (\sigma )=\sigma ^{2}$ e $\tau '(\sigma )=2\sigma$: questo risultato è lo stesso trovato nell’appendice B.

Il valore di $\lambda$ tuttavia non è generalmente noto, e l’uso della media aritmetica del campione ${\bar {x}}$ comporta una distorsione che si corregge, come si è visto, ponendo $N-1$ in luogo di $N$.