Máxima verossimilhança

Predefinição:Mais fontes Em estatística, a estimativa por máxima verossimilhança (maximum-likelihood estimation- MLE) é um método para estimar os parâmetros de um modelo estatístico. Assim, a partir de um conjunto de dados e dado um modelo estatístico, a estimativa por máxima verossimilhança estima valores para os diferentes parâmetros do modelo.

Por exemplo, alguém pode estar interessado na altura de girafas fêmeas adultas, mas devido à restrições de custo ou tempo, medir a altura de todas essas girafas de uma população pode ser impossível. Podemos assumir que as alturas são normalmente distribuídas (modelo estatístico), mas desconhecemos a média e variância (parâmetros do modelo) dessa distribuição. Esses parâmetros da distribuição podem então ser estimados por MLE a partir da medição de uma amostra da população. O método busca aqueles valores para os parâmetros de maneira a maximizar a probabilidade dos dados amostrados, dado o modelo assumido (no caso, distribuição normal).

De maneira geral, posto um conjunto de dados e um modelo estatístico, o método de máxima verossimilhança estima os valores dos diferentes parâmetros do modelo estatístico de maneira a maximizar a probabilidade dos dados observados (isto é, busca parâmetros que maximizem a função de verossimilhança). O método de máxima verossimilhança apresenta-se como um método geral para estimação de parâmetros, principalmente no caso de distribuições normais.

História

Ronald Fisher em 1913

Foi recomendado, analisado e popularizado por R. A. Fisher entre 1912 e 1922, ainda que tenha sido utilizado antes por Carl Friedrich Gauss, Pierre-Simon Laplace, Thorvald N. Thiele e Francis Edgeworth. A determinação de regiões de confiança em torno de estimativas dos parâmetros só foi possível a partir da publicação, em 1938, do Teorema de Wilk's.

Fundamentos

Suponha-se que se tenha uma amostra x₁, x₂, …, x_n de n observações independentes e identicamente distribuídas extraídas de uma função de distribuição desconhecida com função densidade (ou função probabilidade) f₀(·). Se sabe, porém, que f₀ pertence a uma família de distribuições Predefinição:Nowrap}, chamada modelo paramétrico, de maneira que f₀ corresponde a Predefinição:Nowrap, que é o verdadeiro valor do parâmetro. Se deseja encontrar o valor $\hat{\theta }$ (ou estimador) que esteja o mais próximo possível ao verdadeiro valor θ₀.

Tanto x_i como θ podem ser vetores.

A ideia desse método é encontrar primeiro a função densidade de todas as observações, que sob condições de independência, é

$f(x_1,x_2,\dots ,x_n|\theta )=f(x_1|\theta )\cdot f(x_2|\theta )\cdots f(x_n|\theta )$

Observando esta função sob um ângulo ligeiramente distinto, pode-se supor que os valores observados x₁, x₂, …, x_n são fixos enquanto que θ pode variar livremente. Esta é a função de verossimilhança:

$ℒ(\theta |x_1,\dots ,x_n)=\prod _{i=1}^{n}f(x_i|\theta ).$

Na prática, é geralmente usado o logaritmo dessa função:

$\hat{\ell }(\theta |x_1,\dots ,x_n)=\ln ℒ=\sum _{i=1}^n\ln f(x_i|\theta ).$

O método da máxima verossimilhança estima θ₀ buscando o valor de θ que maximiza $\hat{\ell }(\theta |x)$. Este é o chamado estimador de máxima verossimilhança (MLE) de θ₀:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}=\underset{\theta \in \mathrm{\Theta }}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\hat{\ell }(\theta |x_1,\dots ,x_n).$

Às vezes, esse estimador é uma função explícita dos dados observados x₁, …, x_n, mas muitas vezes se precisa recorrer à otimizações numéricas. Também pode acontecer que o máximo não seja único ou não exista.

Na exposição anterior, a independência das observações foi assumida, mas não é um requisito necessário: é suficiente para poder construir a função de probabilidade conjunta dos dados para poder aplicar o método. Um contexto em que isso é comum é a análise de séries temporais.

Propriedades do estimador de máxima verossimilhança

Em muitos casos, o estimador obtido por máxima verossimilhança possui um conjunto de propriedades assintóticas atrativas:

• consistência,
• normalidade assintótica,
• eficiência,
• e inclusive eficiência de segunda ordem depois de corrigir o viés.

Consistência

Sob certas condições bastante habituais, o estimador de máxima verossimilhança é consistente: se o número de observações n tende ao infinito, o estimador $\hat{\theta }$ converge em probabilidade a seu valor verdadeiro:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}\stackrel{p}{\to }{\theta }_0.$

Sob condições um pouco mais fortes, a convergência é quase certa:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}\stackrel{a.s.}{\to }{\theta }_0.$

Normalidade assintótica 2

Se as condições de consistência forem atendidas e também,

1. ${\theta }_0\in interior(\theta )$ ;
2. $f(x|\theta )>0$ e é duas vezes continuamente diferenciável em relação a θ em algum entorno N de θ₀;
3. ∫ sup_θ∈N||∇_θf(x|θ)||dx < ∞, y ∫ sup_θ∈N||∇_θθf(x|θ)||dx < ∞;
4. I = E[∇_θlnf(x|θ₀) ∇_θlnf(x|θ₀)′] existe e não é singular;
5. $E[su{p}_{\theta \in N}\parallel \underset{\theta \theta }{▽}\ln (f(x|\theta ))\parallel ]<\mathrm{\infty }$,

então o estimador de probabilidade máxima tem uma distribuição assintótica normal:

$\sqrt{n}({\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-{\theta }_0)\stackrel{d}{\to }𝒩(0,I^{-1}).$

Invariância funcional

Se $\hat{\theta }$ é o EMV de θ e g(θ) é uma transformação de θ, então o EMV de α = g(θ) é

$\hat{\alpha }=g(\hat{\theta }).$

Além disso, o EMV é invariável contra certas transformações de dados. De fato se $Y=g(X)$ e $g$ uma aplicação bijetiva que não depende dos parâmetros estimados, a função densidade de Y é

$f_Y(y)=f_X(x)/|g^{\prime }(x)|$

Ou seja, as funções de densidade de X e Y diferem apenas em um termo que não depende dos parâmetros. Então, por exemplo, o EMV para os parâmetros de uma distribuição log-normal são os mesmos que os de uma distribuição normal ajustada sobre o logaritmo dos dados de entrada.

Outras propriedades

O EMV é √n-consistente e assintoticamente eficiente. Em particular, isto significa que o viés é zero até a ordem n^−1/2. Entretanto, ao obter os termos de ordem mais alta da expansão de Edgeworth da distribuição do estimador, θ_emv tem um viés de ordem ⁻¹. Este viés é igual a

$b_s\equiv \mathrm{E}[({\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-{\theta }_0{)}_s]=\frac{1}{n}\cdot I^{si}{I}^{jk}(\frac{1}{2}{K}_{ijk}+J_{j,ik}),$

fórmula onde se tem adotado a convenção de Einstein para expressar somas; I^jk representa l j,k-ésima componente da inversa da matriz de informação de Fisher e

$\frac{1}{2}{K}_{ijk}+J_{j,ik}=\mathrm{E}[\frac{1}{2}\frac{{\partial }^3\ln f_{{\theta }_0}(x_t)}{\partial {\theta }_i\partial {\theta }_j\partial {\theta }_k}+\frac{\partial \ln f_{{\theta }_0}(x_t)}{\partial {\theta }_j}\frac{{\partial }^2\ln f_{{\theta }_0}(x_t)}{\partial {\theta }_i\partial {\theta }_k}].$

Graças a essas fórmulas, é possível estimar o viés de segunda ordem do estimador e corrigi-lo por subtração:

${\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}^{*}={\hat{\theta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}-\hat{b}.$

Este estimador, sem viés até a ordem n⁻¹, se chama estimador de máxima verossimilhança com correção do viés.

Exemplos

Distribuição uniforme discreta

Suponha que n bolas numeradas de 1 a n sejam colocadas em uma urna e que uma delas seja sorteada aleatoriamente. Se n for desconhecido, seu EMV é o número m que aparece na bola extraída: a função de verossimilhança é 0 para n < m e 1/n para n ≥ m; que alcança seu máximo quando n = m. O valor esperado de $\hat{n}$ , é (n + 1)/2. Como consequência, o EMV de n subestimará o verdadeiro valor de n por (n − 1)/2.

Distribuição discreta com parâmetros discretos

Suponha-se que uma moeda inclinada seja jogada no ar 80 vezes. A amostra resultante pode ser algo assim como x₁ = H, x₂ = T, ..., x₈₀ = T, e se conta o número de caras, "H". A probabilidade que se obtenha cara é p e a de que se obtenha coroa, 1 − p (de modo que p é o parâmetro θ). Suponha-se que se obtenha 49 caras e 31 coroas. Imagine-e que a moeda foi extraída de uma caixa contendo três delas e que estas tem probabilidades p iguais a 1/3, 1/2 e 2/3 ainda que não se saiba qual delas é qual.

A partir dos dados obtidos do experimento se pode saber qual é a moeda com a máxima verossimilhança. Usando a função de probabilidade da distribuição binomial com uma amostra de tamanho 80, número de êxitos igual a 49 e distintos valores de p, a função de verossimilhança toma os seguintes três valores:

$\begin{array}{cc}\mathrm{Pr}(\mathrm{H}=49\mid p=1/3)& =(\genfrac{}{}{0ex}{}{80}{49})(1/3{)}^{49}(1-1/3{)}^{31}\approx 0.000,\\ \mathrm{Pr}(\mathrm{H}=49\mid p=1/2)& =(\genfrac{}{}{0ex}{}{80}{49})(1/2{)}^{49}(1-1/2{)}^{31}\approx 0.012,\\ \mathrm{Pr}(\mathrm{H}=49\mid p=2/3)& =(\genfrac{}{}{0ex}{}{80}{49})(2/3{)}^{49}(1-2/3{)}^{31}\approx 0.054.\end{array}$

A verossimilhança é máxima quando p = 2/3 e este é, portanto, o EMV de p.

Distribuição discreta com parâmetros contínuos

Agora, suponha que houvesse apenas uma moeda, mas sua p poderia ter sido qualquer valor 0 ≤ p ≤ 1. A função de probabilidade a ser maximizada é

$L(p)=f_D(\mathrm{H}=49\mid p)=(\genfrac{}{}{0ex}{}{80}{49})p^{49}(1-p{)}^{31},$

e a maximização está acima de todos os valores possíveis 0 ≤ p ≤ 1.

Probabilidade de diferentes valores de parâmetros de proporção para um processo binomial com t = 3 e n = 10

Uma maneira de maximizar essa função é por diferenciação com relação a p e definindo para zero:

$\begin{array}{cc}0& =\frac{\partial }{\partial p}((\genfrac{}{}{0ex}{}{80}{49})p^{49}(1-p{)}^{31})\\ & \propto 49p^{48}(1-p{)}^{31}-31p^{49}(1-p{)}^{30}\\ & =p^{48}(1-p{)}^{30}[49(1-p)-31p]\\ & =p^{48}(1-p{)}^{30}[49-80p]\end{array}$

a qual tem soluções p = 0, p = 1, e p = 49/80. A solução que maximiza a probabilidade é claramente p = 49/80 (desde que p = 0 e p = 1 resulta em uma probabilidade zero). Então o estimador de probabilidade máxima para p é 49/80.

Esse resultado é facilmente generalizado substituindo uma letra como t no lugar de 49 para representar o número observado de 'sucessos' de nossos ensaios de Bernoulli, e uma letra tal como n no lugar de 80 para representar o número de ensaios de Bernoulli. Exatamente o mesmo cálculo produz o estimador de probabilidade máxima t / n para qualquer sequência de n ensaios de Bernoulli resultando em t 'sucessos'.

Distribuição contínua com parâmetros contínuos

Para a distribuição normal $𝒩(\mu ,{\sigma }^2)$ a qual tem função densidade de probabilidade

$f(x\mid \mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2}),$

a função densidade de probabilidade correspondente para uma amostra de n variáveis aleatórias variáveis aleatórias independentes e identicamente distribuídas normais (a probabilidade) é

$f(x_1,\dots ,x_n\mid \mu ,{\sigma }^2)=\prod _{i=1}^{n}f(x_i\mid \mu ,{\sigma }^2)={\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp (-\frac{\sum _{i=1}^n(x_i-\mu {)}^2}{2{\sigma }^2}),$

ou mais convenientemente:

$f(x_1,\dots ,x_n\mid \mu ,{\sigma }^2)={\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp (-\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2+n(\overline{x}-\mu {)}^2}{2{\sigma }^2}),$

onde $\overline{x}$ é a média amostral.

Esta família de distribuições possui dois parâmetros: θ = (μ, σ), então maximizamos a verossimilhança, $ℒ(\mu ,\sigma )=f(x_1,\dots ,x_n\mid \mu ,\sigma )$, sobre os dois parâmetros simultaneamente ou, se possível, individualmente.

Dado que logaritmo é uma função contínua estritamente crescente sobre o contradomínio da verossimilhança, os valores que maximizam a verossimilhança também maximizarão seu logaritmo. Como maximizar o logaritmo geralmente requer álgebra mais simples, é o logaritmo que é maximizado abaixo. (Nota: a verossimilhança de log está intimamente relacionada a entropia da informação e informação de Fisher.)

$\begin{array}{cc}0& =\frac{\partial }{\partial \mu }\log ({\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp (-\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2+n(\overline{x}-\mu {)}^2}{2{\sigma }^2}))\\ & =\frac{\partial }{\partial \mu }(\log {\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}-\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2+n(\overline{x}-\mu {)}^2}{2{\sigma }^2})\\ & =0-\frac{-2n(\overline{x}-\mu )}{2{\sigma }^2}\end{array}$

que é resolvido por

$\hat{\mu }=\overline{x}=\sum _{i=1}^n{x}_i/n.$

Este é realmente o máximo da função, pois é o único ponto de virada em μ e a segunda derivada é estritamente menor que zero. Seu valor esperado é igual ao parâmetro μ da distribuição dada,

$E\left[\hat{\mu }\right]=\mu ,$

o que significa que o estimador de verossimilhança máxima $\hat{\mu }$ é imparcial.

Similarmente diferenciamos a verossimilhança de log em relação a σ e equivale a zero:

$\begin{array}{cc}0& =\frac{\partial }{\partial \sigma }\log ({\left(\frac{1}{2\pi {\sigma }^2}\right)}^{n/2}\exp (-\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2+n(\overline{x}-\mu {)}^2}{2{\sigma }^2}))\\ & =\frac{\partial }{\partial \sigma }(\frac{n}{2}\log \left(\frac{1}{2\pi {\sigma }^2}\right)-\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2+n(\overline{x}-\mu {)}^2}{2{\sigma }^2})\\ & =-\frac{n}{\sigma }+\frac{\sum _{i=1}^n(x_i-\overline{x}{)}^2+n(\overline{x}-\mu {)}^2}{{\sigma }^3}\end{array}$

que é resolvido por

${\hat{\sigma }}^2=\sum _{i=1}^n(x_i-\hat{\mu }{)}^2/n.$

Inserindo $\hat{\mu }$ obtem-se

${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(x_i-\overline{x}{)}^2=\frac{1}{n}\sum _{i=1}^n{x}_i^2-\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n{x}_i{x}_j.$

Para calcular seu valor esperado, é conveniente reescrever a expressão em termos de variáveis aleatórias com média zero (erro estatístico) ${\delta }_i\equiv \mu -x_i$. Expressar a estimativa nessas variáveis resulta

${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(\mu -{\delta }_i{)}^2-\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n(\mu -{\delta }_i)(\mu -{\delta }_j).$

Simplificando a expressão acima, utilizando os fatos que $E\left[{\delta }_i\right]=0$ e $E[{\delta }_i^2]={\sigma }^2$, nos permite obter

$E\left[\widehat{{\sigma }^2}\right]=\frac{n-1}{n}{\sigma }^2.$

Isso significa que o estimador $\hat{\sigma }$ é tendencioso. Contudo, $\hat{\sigma }$ é consistente.

Formalmente dizemos que o estimador de máxima verossimilhança (EMV) para $\theta =(\mu ,{\sigma }^2)$ é:

$\hat{\theta }=(\hat{\mu },{\hat{\sigma }}^2).$

Neste caso os EMVs pode ser obtido individualmente. Em geral, esse pode não ser o caso, e o EMVs teria que ser obtido simultaneamente.

Variáveis não independentes

Pode ser que as variáveis estejam correlacionadas, ou seja, não sejam independentes. Duas variáveis aleatórias X e Y são independentes apenas se a função de densidade de probabilidade conjunta for o produto das funções individuais de densidade de probabilidade, i.e.

$f(x,y)=f(x)f(y)$

Suponha que se construa um vetor Gaussiano de ordem n fora de variáveis aleatórias $(x_1,\dots ,x_n)$, onde cada variável tem médias dadas por $({\mu }_1,\dots ,{\mu }_n)$. Além disso, faz-se a matriz de covariância ser indicada por $\mathrm{\Sigma },$

A função densidade de probabilidade conjunta dessas n variáveis randômicas é então dada por:

$f(x_1,\dots ,x_n)=\frac{1}{(2\pi {)}^{n/2}\sqrt{\text{det}(\mathrm{\Sigma })}}\exp (-\frac{1}{2}[x_1-{\mu }_1,\dots ,x_n-{\mu }_n]{\mathrm{\Sigma }}^{-1}{[x_1-{\mu }_1,\dots ,x_n-{\mu }_n]}^T)$

Nos dois casos variáveis, a função densidade de probabilidade conjunta é dada por:

$f(x,y)=\frac{1}{2\pi {\sigma }_x{\sigma }_y\sqrt{1-{\rho }^2}}\exp [-\frac{1}{2(1-{\rho }^2)}(\frac{(x-{\mu }_x{)}^2}{{\sigma }_x^2}-\frac{2\rho (x-{\mu }_x)(y-{\mu }_y)}{{\sigma }_x{\sigma }_y}+\frac{(y-{\mu }_y{)}^2}{{\sigma }_y^2})]$

Neste e em outros casos em que existe uma função de densidade articular, a função de probabilidade é definida como acima, em Fundamentos, usando essa densidade.