Teoria degli errori e fondamenti di statistica/D

by Maurizio Loreti

D Il modello di Laplace e la funzione di Gauss

../C.5 ../E IncludiIntestazione 4 settembre 2022 100% Da definire

Questo testo è stato riletto e controllato.

Maurizio Loreti - Teoria degli errori e fondamenti di statistica (2006)

D Il modello di Laplace e la funzione di Gauss

◄

C.5

E

►

---

Appendice D

Il modello di Laplace e la funzione di Gauss

---

Pensiamo di eseguire una misura di una grandezza fisica (il cui valore vero indicheremo con il simbolo $x^{*}$), e sia $x$ il risultato ottenuto; in generale $x$ è diverso da $x^{*}$ per la presenza degli errori di misura, che supporremo siano di natura puramente casuale.

Questi errori casuali di misura possono essere schematizzati come un insieme estremamente grande, al limite infinito, di disturbi contemporanei molto piccoli, al limite infinitesimi, ognuno dei quali tende ad alterare di pochissimo il risultato della misura; si considerino in particolare le seguenti ipotesi (modello semplificato di Laplace¹ per gli errori di misura):

1. Ognuna delle singole cause di disturbo presenti introdurrà nella misura una variazione rispetto al valore vero di modulo fisso $\epsilon$, con uguale probabilità in difetto o in eccesso.
2. Ognuna delle variazioni nella misura dovute a queste cause di disturbo è statisticamente indipendente dalle altre.

Ognuna delle $N$ cause indipendenti di disturbo produce quindi la variazione $+\epsilon$ con probabilità $p=0.5$ oppure $-\epsilon$ con probabilità $q=1-p=0.5$; se $M$ tra le $N$ perturbazioni sono positive (e le altre $N-M$ negative), il valore osservato sarà

$x\;=\;x^{*}+M\epsilon -(N-M)\epsilon \;=\;x^{*}+(2M-N)\epsilon$.

La probabilità di un dato valore di $M$ sulle $N$ prove è data dalla distribuzione binomiale (vedi il paragrafo 8.4, ed in particolare l’equazione (8.7)), e vale

$P(M,N)\;=\;{\frac {N!}{M!\,(N-M)!}}\,p^{M}q^{N-M}$.

Il valore medio di $M$ è dato da $Np$, e la sua varianza da $Npq$; indichiamo poi con il simbolo $\lambda$ lo scarto di $M$ dal suo valore medio

$M\;=\;Np+\lambda$.

In corrispondenza al variare di $M$ tra 0 ed $N$, $\lambda$ varia tra i limiti $-Np$ e $+Nq$; risulta poi anche

$N-M\;=\;N-Np-\lambda \;=\;Nq-\lambda$

e la probabilità di ottenere un certo valore di $\lambda$ su $N$ prove vale

$P(\lambda ,N)\;=\;{\frac {N!}{(Np+\lambda )!(Nq-\lambda )!}}\,p^{Np+\lambda }\,q^{Nq-\lambda }$.

Valore medio e varianza di $\lambda$ valgono poi

$E(\lambda )\;=\;E(M)-Np\;\equiv 0$

e

${\text{Var}}(\lambda )\;=\;{\text{Var}}(M)\;=\;Npq$.

L’andamento generale della probabilità in funzione di $M$ si può trovare considerando il rapporto tra i valori di $P$ che corrispondono a due valori successivi di $M$:

${\frac {P(M+1,N)}{P(M,N)}}$	= ${\frac {N!\,p^{M+1}\,q^{N-M-1}}{(M+1)!\,(N-M-1)!}}{\frac {M!\,(N-M)!}{N!\,p^{M}\,q^{N-M}}}$
	$={\frac {N-M}{M+1}}\,{\frac {p}{q}}$

e $P(M,N)$ risulterà minore, uguale o maggiore di $P(M+1,N)$ a seconda che $(M+1)q$ risulti minore, uguale o maggiore di $(N-M)p$; ossia, essendo $p+q=1$, a seconda che $M$ sia minore, uguale o maggiore di $Np-q$.

Insomma, chiamato $\mu =\lceil Np-q\rceil$ il più piccolo intero non minore di $Np-q$, la sequenza di valori $P(0,N),P(1,N),\ldots ,P(\mu ,N)$ è crescente, mentre quella dei valori $P(\mu +1,N),P(\mu +2,N),\ldots ,P(N,N)$ è decrescente. Il massimo valore della probabilità si ha in corrispondenza ad un intero $\mu$ che soddisfi la

$Np-q\;\leq \;\mu \;\leq \;Np-q+1\;=\;Np+p$

e che è unico, salvo il caso che i due estremi dell’intervallo siano entrambi numeri interi: in questo caso si hanno due valori massimi, uguali, in corrispondenza di entrambi. Concludendo: il caso più probabile è che l’evento $E$ si presenti in una sequenza di $N$ prove $Np$ volte, ed il valore di $\lambda$ con la massima probabilità di presentarsi è 0.

Cerchiamo ora di determinare se esiste e quanto vale il limite della probabilità di ottenere un certo risultato al crescere indefinito del numero delle prove. Per ottenere questo, introduciamo la formula approssimata di de Moivre e Stirling² per il fattoriale:

$N!\;=\;N^{N}e^{-N}{\sqrt {2\pi N}}\,(1+\epsilon _{N})\;\approx \;{\sqrt {2\pi }}\,N^{\left(N+{\frac {1}{2}}\right)}e^{-N}$

con

$0\;\leq \;\epsilon _{N}\;<\;{\frac {1}{11\cdot N}}$.

È lecito trascurare il resto $\epsilon _{N}$ quando l’argomento del fattoriale è elevato: per $N=10$ l’errore commesso è già inferiore all’1%. Per usare la formula di de Moivre e Stirling nel nostro caso, sviluppiamo

$(Np+\lambda )!$	$\approx {\sqrt {2\pi }}\,(Np+\lambda )^{\left(Np+\lambda +{\frac {1}{2}}\right)}e^{\left(-Np-\lambda \right)}$
	$={\sqrt {2\pi }}\left(1+{\frac {\lambda }{Np}}\right)^{\left(Np+\lambda +{\frac {1}{2}}\right)}e^{\left(-Np-\lambda \right)}(Np)^{\left(Np+\lambda +{\frac {1}{2}}\right)}$

e, similmente,

$(Nq-\lambda )!\approx {\sqrt {2\pi }}\left(1-{\frac {\lambda }{Nq}}\right)^{\left(Nq-\lambda +{\frac {1}{2}}\right)}e^{\left(-Nq+\lambda \right)}(Nq)^{\left(Nq-\lambda +{\frac {1}{2}}\right)}$.

Queste approssimazioni sono valide quando gli argomenti dei fattoriali, $Np+\lambda$ e $Nq-\lambda$, sono abbastanza grandi: cioè quando $\lambda$ non è vicino ai valori limite $-Np$ e $Nq$; accettata la loro validità (e ritorneremo su questo punto tra poco), sostituendo si ha

$P(\lambda ,N)\;=\;{\frac {1}{\sqrt {2\pi Npq}}}\left(1+{\frac {\lambda }{Np}}\right)^{-\left(Np+\lambda +{\frac {1}{2}}\right)}\left(1-{\frac {\lambda }{Nq}}\right)^{-\left(Nq-\lambda +{\frac {1}{2}}\right)}$.

Questa espressione è certamente valida quando $|\lambda |$ non è troppo grande, e per $\lambda =0$ fornisce la probabilità del valore medio di $M$ ($M=Np$), che risulta

$P(0,N)={\frac {1}{\sqrt {2\pi Npq}}}$.

Questa probabilità tende a zero come $1/{\sqrt {N}}$ al crescere di $N$; dato che la somma delle probabilità relative a tutti i casi possibili deve essere 1, si deve concludere che il numero di valori di $\lambda$ per cui la probabilità non è trascurabile rispetto al suo massimo deve divergere come ${\sqrt {N}}$ al crescere di $N$, sebbene il numero di tutti i possibili valori (che è $N+1$) diverga invece come $N$.

L’espressione approssimata di $P(\lambda ,N)$ non è valida per valori di $\lambda$ prossimi agli estremi $\lambda =-Np$ e $\lambda =Nq$ (è infatti divergente); tuttavia tali valori hanno probabilità infinitesime di presentarsi al crescere di $N$. Infatti $P(-Np,N)=q^{N}$ e $P(Nq,N)=p^{N}$, ed entrambi tendono a zero quando $N$ tende all’infinito essendo sia $p$ che $q$ inferiori all’unità.

Concludendo: la formula approssimata da noi ricavata è valida già per valori relativamente piccoli di $N$, e per $N$ molto grande si può ritenere esatta per tutti i valori dello scarto $\lambda$ con probabilità non trascurabile di presentarsi, valori che sono mediamente dell’ordine dell’errore quadratico medio ${\sqrt {Npq}}$ e che quindi divergono solo come ${\sqrt {N}}$. Consideriamo ora il fattore

$\kappa =\left(1+{\frac {\lambda }{Np}}\right)^{-\left(Np+\lambda +{\frac {1}{2}}\right)}\left(1-{\frac {\lambda }{Nq}}\right)^{-\left(Nq-\lambda +{\frac {1}{2}}\right)}$

che nell’espressione approssimata di $P(\lambda ,N)$ moltiplica il valore massimo $P(0,N)$, e se ne prenda il logaritmo naturale:

$\ln \kappa \;=\;-\left(Np+\lambda +{\frac {1}{2}}\right)\ln \left(1+{\frac {\lambda }{Np}}\right)\;-\;\left(Nq-\lambda +{\frac {1}{2}}\right)\ln \left(1-{\frac {\lambda }{Nq}}\right).$

Ora, poiché sia $\lambda /Np$ che $\lambda /Nq$ sono in modulo minori dell’unità (salvi i due casi estremi, di probabilità come sappiamo infinitesima), si possono sviluppare i due logaritmi in serie di McLaurin:

$\ln(1+x)\;=\;x-{\frac {x^{2}}{2}}+{\frac {x^{3}}{3}}-{\frac {x^{4}}{4}}+\cdots$.

Il primo termine di $\ln \kappa$ diventa

$-{\biggl (}Np+\lambda +{\frac {1}{2}}{\biggr )}\left({\frac {\lambda }{Np}}-{\frac {\lambda ^{2}}{2\,N^{2}p^{2}}}+{\frac {\lambda ^{3}}{3\,N^{3}p^{3}}}-\cdots \right)=$

$=-\lambda +\left({\frac {\lambda ^{2}}{2\,Np}}-{\frac {\lambda ^{2}}{Np}}\right)-\left({\frac {\lambda ^{3}}{3\,N^{2}p^{2}}}-{\frac {\lambda ^{3}}{2\,N^{2}p^{2}}}+{\frac {\lambda }{2\,Np}}\right)+\cdots$

$=-\,\lambda -{\frac {\lambda ^{2}}{2\,Np}}-{\frac {\lambda }{2\,Np}}+{\frac {\lambda ^{3}}{6\,N^{2}p^{2}}}+\cdots$

ed il secondo

$-\left(Nq-\lambda +{\frac {1}{2}}\right)\left(-{\frac {\lambda }{Nq}}-{\frac {\lambda ^{2}}{2\,N^{2}q^{2}}}-{\frac {\lambda ^{3}}{3\,N^{3}q^{3}}}-\cdots \right)=$

$=\lambda -{\frac {\lambda ^{2}}{2\,Nq}}+{\frac {\lambda }{2\,Nq}}-{\frac {\lambda ^{3}}{6\,N^{2}q^{2}}}-\cdots$

e sommando si ottiene

$\ln \kappa =-{\frac {\lambda ^{2}}{2\,Npq}}-{\frac {\lambda }{2\,N}}\left({\frac {1}{p}}-{\frac {1}{q}}\right)+{\frac {\lambda ^{3}}{6\,N^{2}}}\left({\frac {1}{p^{2}}}-{\frac {1}{q^{2}}}\right)+\cdots$.

Da questo sviluppo risulta che il solo termine che si mantiene finito al divergere di $N$, e per valori di $\lambda$ dell’ordine di ${\sqrt {Npq}}$, è il primo; gli altri due scritti convergono a zero come $1/{\sqrt {N}}$, e tutti gli altri omessi almeno come $1/N$. In conclusione, per valori dello scarto per cui la probabilità non è trascurabile (grosso modo $|\lambda |<3{\sqrt {Npq}}$), al divergere di $N$ il logaritmo di $\kappa$ è bene approssimato da

$\ln \kappa \;\approx \;-\,{\frac {\lambda ^{2}}{2\,Npq}}$

e la probabilità dello scarto dalla media $\lambda$ da

$P(\lambda )\;\approx \;{\frac {1}{\sqrt {2\pi Npq}}}\,e^{-{\frac {1}{2}}{\frac {\lambda ^{2}}{Npq}}}$;

per la variabile $M$ sarà invece

$P(M)\;\approx \;{\frac {1}{\sqrt {2\pi Npq}}}\,e^{-{\frac {1}{2}}{\frac {(M-Np)^{2}}{Npq}}}.$

Nel caso particolare del modello semplificato di Laplace per gli errori di misura, $p=q=0.5$ e pertanto i termini di ordine $1/{\sqrt {N}}$ sono identicamente nulli: l’approssimazione è già buona per $N\geq 25$; nel caso generale $p\neq q$, essa è invece accettabile per $Npq\geq 9$. Introducendo lo scarto quadratico medio di $M$ e di $\lambda$

$\sigma ={\sqrt {Npq}}$

l’espressione si può scrivere

$P(\lambda )\;\approx \;{\frac {1}{\sigma {\sqrt {2\pi }}}}\,e^{-{\frac {\lambda ^{2}}{2\sigma ^{2}}}}$

che è la celebre legge normale o legge di Gauss.

Tornando ancora al modello semplificato di Laplace per gli errori di misura, il risultato $x$ ha uno scarto dal valore vero che vale

$x-x^{*}\;=\;\epsilon \,(2M-N)\;=\;\epsilon \,(2Np+2\lambda -N)\;=\;2\epsilon \lambda$

e possiede varianza

${\sigma _{x}}^{2}\;\equiv \;{\text{Var}}\left(x-x^{*}\right)\;=\;4\,\epsilon ^{2}\,{\text{Var}}(\lambda )\;=\;4\epsilon ^{2}\sigma ^{2}$.

La probabilità di un certo risultato $x=x^{*}+2\epsilon \lambda$ vale infine

$P(x)\;=\;P(\lambda )\;\approx \;{\frac {1}{\sigma {\sqrt {2\pi }}}}\,e^{-{\frac {1}{2}}{\frac {\lambda ^{2}}{\sigma ^{2}}}}\;=\;{\frac {2\epsilon }{\sigma _{x}{\sqrt {2\pi }}}}\,e^{-{\frac {1}{2}}{\bigl (}{\frac {x-x^{*}}{\sigma _{x}}}{\bigr )}^{2}}$.

La $x$ è una grandezza discreta che varia per multipli di $\epsilon$; nel limite su accennato diventa una variabile continua, e $P(x)$ è infinitesima con $\epsilon$ perdendo così significato; si mantiene invece finita la densità di probabilità, che si ottiene dividendo $P(x)$ per l’ampiezza $2\epsilon$ dell’intervallo che separa due valori contigui di $x$:

$f(x)\;=\;{\frac {P(x)}{2\epsilon }}\;=\;{\frac {1}{\sigma _{x}{\sqrt {2\pi }}}}\,e^{-{\frac {1}{2}}{\bigl (}{\frac {x-x^{*}}{\sigma _{x}}}{\bigr )}^{2}}$

ed ha infatti le dimensioni fisiche di $1/\sigma _{x}$, ovvero di $1/x$.

Al medesimo risultato per $f(x)$ si perverrebbe anche nell’ipotesi più generale che gli errori elementari siano distribuiti comunque, ed anche diversamente l’uno dall’altro, purché ciascuno abbia una varianza dello stesso ordine di grandezza degli altri ed infinitesima al divergere del numero delle cause di errore.

Note

1. Pierre Simon de Laplace visse in Francia dal 1749 al 1827; famoso matematico, fisico ed astronomo, provò la stabilità del sistema solare, sviluppò la teoria delle equazioni differenziali e dei potenziali, contribuì allo studio del calore e dei fenomeni capillari oltre a gettare le basi matematiche per una teoria dell’elettromagnetismo. Durante la rivoluzione francese fu uno degli ideatori del sistema metrico decimale; per quel che riguarda la statistica, nel 1812 pubblicò il trattato “Théorie Analytique des Probabilités” che contiene, tra l’altro, studi sulla distribuzione normale e la derivazione della regola dei minimi quadrati.
2. Per la dimostrazione, vedi ad esempio: G. Castelnuovo — Calcolo delle probabilità (Zanichelli), in appendice. La formula è dovuta al solo Stirling, che la pubblicò nel suo libro “Methodus Differentialis” del 1730; ma non divenne nota nel mondo scientifico fino a quando de Moivre non la usò — da qui il nome comunemente adottato.