Mostrar código-fonte de Máxima verossimilhança

{{mais fontes|data=julho de 2014}}
Em [[estatística]], a estimativa por '''máxima [[verossimilhança]]''' (maximum-likelihood estimation- MLE) é um método para estimar os parâmetros de um [[modelo estatístico]]. Assim, a partir de um conjunto de dados e dado um modelo estatístico, a estimativa por máxima verossimilhança estima valores para os diferentes parâmetros do modelo.

Por exemplo, alguém pode estar interessado na altura de girafas fêmeas adultas, mas devido à restrições de custo ou tempo, medir a altura de todas essas girafas de uma população pode ser impossível. Podemos assumir que as alturas são normalmente distribuídas (modelo estatístico), mas desconhecemos a média e variância (parâmetros do modelo) dessa distribuição. Esses parâmetros da distribuição podem então ser estimados por MLE a partir da medição de uma amostra da população. O método busca aqueles valores para os parâmetros de maneira a maximizar a probabilidade dos dados amostrados, dado o modelo assumido (no caso, distribuição normal).

De maneira geral, posto um conjunto de dados e um modelo estatístico, o método de máxima verossimilhança estima os valores dos diferentes parâmetros do modelo estatístico de maneira a maximizar a probabilidade dos dados observados (isto é, busca parâmetros que maximizem a função de verossimilhança). O método de máxima verossimilhança apresenta-se como um método geral para estimação de parâmetros, principalmente no caso de distribuições normais.

== História ==
[[Arquivo:Youngronaldfisher2.JPG|thumb|right|220px|Ronald Fisher em 1913]]
Foi recomendado, analisado e popularizado por [[Ronald Fisher|R. A. Fisher]] entre 1912 e 1922, ainda que tenha sido utilizado antes por [[Carl Friedrich Gauss]], [[Pierre-Simon Laplace]], [[Thorvald N. Thiele]] e [[Francis Edgeworth]].<ref>Edgeworth (Set 1908, Dez 1908)</ref> A determinação de regiões de confiança em torno de estimativas dos parâmetros só foi possível a partir da publicação, em 1938, do Teorema de Wilk's.<ref>{{citar periódico|último =Wilks |primeiro = S. S. |ano= 1938 |título= The Large-Sample Distribution of the Likelihood Ratio for Testing Composite Hypotheses |periódico= [[Annals of Mathematical Statistics]] | volume=9|páginas= 60–62| doi= 10.1214/aoms/1177732360}}</ref>

== Fundamentos ==
Suponha-se que se tenha uma amostra ''x''<sub>1</sub>, ''x''<sub>2</sub>, …, ''x''<sub>''n''</sub> de ''n'' observações [[Variáveis aleatórias independentes e identicamente distribuídas|independentes e identicamente distribuídas]] extraídas de uma [[Função distribuição acumulada|função de distribuição]] desconhecida com [[função densidade]] (ou [[Função massa de probabilidade|função probabilidade]]) ''f''<sub>0</sub>(·). Se sabe, porém, que ''f''<sub>0</sub> pertence a uma [[Família (biologia)|família]] de distribuições {{nowrap|{ ''f''(·{{!}}''θ''), ''θ'' ∈ Θ }}}, chamada [[modelo paramétrico]], de maneira que ''f''<sub>0</sub> corresponde a {{nowrap|1=''θ'' = ''θ''<sub>0</sub>}}, que é o ''verdadeiro valor'' do parâmetro. Se deseja encontrar o valor <math style="vertical-align:0">\scriptstyle\hat\theta</math> (ou ''estimador'') que esteja o mais próximo possível ao verdadeiro valor ''θ''<sub>0</sub>.

Tanto ''x''<sub>''i''</sub> como ''θ'' podem ser vetores.

A ideia desse método é encontrar primeiro a função densidade de todas as observações, que sob condições de independência, é
: <math>
   f(x_1,x_2,\ldots,x_n\;|\;\theta) = f(x_1|\theta)\cdot f(x_2|\theta)\cdots f(x_n|\theta)\,
 </math>
Observando esta função sob um ângulo ligeiramente distinto, pode-se supor que os valores observados ''x''<sub>1</sub>, ''x''<sub>2</sub>, …, ''x''<sub>''n''</sub> são fixos enquanto que ''θ'' pode variar livremente. Esta é a [[função de verossimilhança]]:
: <math>
  \mathcal{L}(\theta\,|\,x_1,\ldots,x_n) = \prod_{i=1}^n f(x_i|\theta).
 </math>

Na prática, é geralmente usado o logaritmo dessa função:
: <math>
   \hat\ell(\theta\,|\,x_1,\ldots,x_n) = \ln\mathcal{L} =  \sum_{i=1}^n \ln f(x_i|\theta).
 </math>

O método da '''máxima verossimilhança''' estima ''θ''<sub>0</sub> buscando o valor de ''θ'' que maximiza <math style="vertical-align:-.32em">\scriptstyle\hat\ell(\theta|x)</math>. Este é o chamado '''estimador de máxima verossimilhança''' ('''MLE''') de ''θ''<sub>0</sub>:
: <math>
   \hat\theta_\mathrm{mle} = \underset{\theta\in\Theta}{\operatorname{arg\,max}}\ \hat\ell(\theta\,|\,x_1,\ldots,x_n).
 </math>

Às vezes, esse estimador é uma função explícita dos dados observados ''x''<sub>1</sub>, …, ''x''<sub>''n''</sub>, mas muitas vezes se precisa recorrer à otimizações numéricas. Também pode acontecer que o máximo não seja único ou não exista.

Na exposição anterior, a independência das observações foi assumida, mas não é um requisito necessário: é suficiente para poder construir a função de probabilidade conjunta dos dados para poder aplicar o método. Um contexto em que isso é comum é a análise de [[Série temporal|séries temporais]].

== Propriedades do estimador de máxima verossimilhança ==

Em muitos casos, o estimador obtido por máxima verossimilhança possui um conjunto de propriedades assintóticas atrativas:
* [[Consistência (estatística)|consistência]],
* [[normalidade assintótica]],
* [[eficiência]],
* e inclusive eficiência de segunda ordem depois de corrigir o viés.

=== Consistência ===
Sob certas condições bastante habituais,<ref name="Newey_1">{{harvtxt|Newey|McFadden|1994|loc=Theorem 2.5.}}</ref> o estimador de máxima verossimilhança é [[Consistência (estatística)|consistente]]: se o número de observações ''n'' tende ao infinito, o estimador <math style="vertical-align:0">\scriptstyle\hat\theta</math> [[convergência em probabilidade|converge em probabilidade]] a seu valor verdadeiro:
: <math>
   \hat\theta_\mathrm{mle}\ \xrightarrow{p}\ \theta_0\ .
 </math>
Sob condições um pouco mais fortes,<ref name="Newey_1"/> a convergência é [[Convergência quase certa|quase certa]]:
: <math>
   \hat\theta_\mathrm{mle}\ \xrightarrow{a.s.}\ \theta_0\ .
 </math>

=== Normalidade assintótica 2 ===

Se as condições de consistência forem atendidas e também,
# <math>\theta_0 \in interior(\theta)</math> ;
# <math>f(x|\theta) > 0</math> e é duas vezes continuamente diferenciável em relação a ''θ'' em algum entorno ''N'' de ''θ''<sub>0</sub>;
# ∫ sup<sub>''θ''∈''N''</sub>||∇<sub>''θ''</sub>''f''(''x''|''θ'')||d''x'' < ∞, y ∫ sup<sub>''θ''∈''N''</sub>||∇<sub>''θθ''</sub>''f''(''x''|''θ'')||d''x'' < ∞;
# ''I'' = E[∇<sub>''θ''</sub>ln''f''(''x''|''θ''<sub>0</sub>) ∇<sub>''θ''</sub>ln''f''(''x''|''θ''<sub>0</sub>)′] existe e não é singular;
# <math>E[sup_{\theta \in N}\parallel\bigtriangledown_{\theta\theta} \ln (f(x|\theta))\parallel] < \infty</math>,

então o estimador de probabilidade máxima tem uma distribuição assintótica normal:<ref>{{harvtxt|Newey|McFadden|1994|loc=Theorem 3.3.}}</ref>
: <math>
   \sqrt{n}\big(\hat\theta_\mathrm{mle} - \theta_0\big)\ \xrightarrow{d}\ \mathcal{N}(0,\,I^{-1}).
 </math>

=== Invariância funcional ===

Se <math>\widehat{\theta}</math> é o EMV de ''θ'' e ''g(''θ'')'' é uma transformação de ''θ'', então o EMV de ''α'' = ''g''(''θ'') é

:<math>\widehat{\alpha} = g(\widehat{\theta}).\,\!</math>

Além disso, o EMV é invariável contra certas transformações de dados. De fato se <math>Y=g(X)</math> e <math>g</math> uma aplicação [[Função bijectiva|bijetiva]] que não depende dos parâmetros estimados, a função densidade de Y é

:<math>f_Y(y) = f_X(x)/|g'(x)|</math>

Ou seja, as funções de densidade de X e Y diferem apenas em um termo que não depende dos parâmetros. Então, por exemplo, o EMV para os parâmetros de uma [[distribuição log-normal]] são os mesmos que os de uma [[distribuição normal]] ajustada sobre o logaritmo dos dados de entrada.

=== Outras propriedades ===

O EMV é √''n''-consistente e assintoticamente [[Eficiência (estatística)|eficiente]]. Em particular, isto significa que o [[Estimador|viés]] é zero até a ordem ''n''<sup>−1/2</sup>. Entretanto, ao obter os termos de ordem mais alta da [[expansão de Edgeworth]] da distribuição do estimador, ''θ''<sub>emv</sub> tem um viés de ordem <sup>−1</sup>. Este viés é igual a<ref>{{harvtxt|Cox|Snell|1968|loc=formula (20)}}</ref>
: <math>
   b_s \equiv \operatorname{E}[(\hat\theta_\mathrm{mle} - \theta_0)_s]
       = \frac1n \cdot I^{si}I^{jk} \big( \tfrac12 K_{ijk} + J_{j,ik} \big),
 </math>
fórmula onde se tem adotado a [[Notação de Einstein|convenção de Einstein]] para expressar somas; ''I''<sup> ''jk''</sup> representa l ''j,k''-ésima componente da inversa da [[matriz de informação de Fisher]] e
: <math>
   \tfrac12 K_{ijk} + J_{j,ik} = \operatorname{E} \bigg[\;
            \frac12 \frac{\partial^3 \ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_j\,\partial\theta_k} +
            \frac{\partial\ln f_{\theta_0}(x_t)}{\partial\theta_j} \frac{\partial^2\ln f_{\theta_0}(x_t)}{\partial\theta_i\,\partial\theta_k}
            \;\bigg].
 </math>

Graças a essas fórmulas, é possível estimar o viés de segunda ordem do estimador e corrigi-lo por [[subtração]]:
: <math>
   \hat\theta^*_\mathrm{mle} = \hat\theta_\mathrm{mle} - \hat b .
 </math>
Este estimador, sem viés até a ordem ''n''<sup>−1</sup>, se chama '''estimador de máxima verossimilhança com correção do viés'''.

== Exemplos ==

=== Distribuição uniforme discreta ===

Suponha que ''n'' bolas numeradas de 1 a ''n'' sejam colocadas em uma urna e que uma delas seja sorteada aleatoriamente. Se ''n'' for desconhecido, seu EMV é o número ''m'' que aparece na bola extraída: a função de verossimilhança é 0 para ''n''&nbsp;<&nbsp;''m'' e 1/''n'' para ''n''&nbsp;≥&nbsp;''m''; que alcança seu máximo quando ''n''&nbsp;=&nbsp;''m''. O [[valor esperado]] de <math>\hat{n}</math> , é (''n''&nbsp;+&nbsp;1)/2. Como consequência, o EMV de ''n'' subestimará o verdadeiro valor de ''n'' por (''n''&nbsp;−&nbsp;1)/2.

=== Distribuição discreta com parâmetros discretos ===

Suponha-se que uma moeda inclinada seja jogada no ar 80 vezes. A amostra resultante pode ser algo assim como ''x''<sub>1</sub>&nbsp;=&nbsp;H, ''x''<sub>2</sub>&nbsp;=&nbsp;T, ..., ''x''<sub>80</sub>&nbsp;=&nbsp;T, e se conta o número de caras, "H". A probabilidade que se obtenha cara é  ''p'' e a de que se obtenha coroa, 1&nbsp;−&nbsp;''p'' (de modo que ''p'' é o parâmetro ''θ''). Suponha-se que se obtenha 49 caras e 31 coroas. Imagine-e que a moeda foi extraída de uma caixa contendo três delas e que estas tem probabilidades ''p'' iguais a 1/3, 1/2 e 2/3 ainda que não se saiba qual delas é qual.

A partir dos dados obtidos do experimento se pode saber qual é a moeda com a máxima verossimilhança. Usando a [[função de probabilidade]] da [[distribuição binomial]] com uma amostra de tamanho 80, número de êxitos igual a 49 e distintos valores de ''p'', a função de verossimilhança toma os seguintes três valores:

:<math>
\begin{align}
\Pr(\mathrm{H} = 49 \mid p =1/3) & = \binom{80}{49}(1/3)^{49}(1-1/3)^{31} \approx 0.000, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p =1/2) & = \binom{80}{49}(1/2)^{49}(1-1/2)^{31} \approx 0.012, \\[6pt]
\Pr(\mathrm{H} = 49 \mid p =2/3) & = \binom{80}{49}(2/3)^{49}(1-2/3)^{31} \approx 0.054.
\end{align}
</math>

A verossimilhança é máxima quando ''p''&nbsp;=&nbsp;2/3 e este é, portanto, o EMV de ''p''.

===Distribuição discreta com parâmetros contínuos===

Agora, suponha que houvesse apenas uma moeda, mas sua ''p'' poderia ter sido qualquer valor 0 ≤ ''p'' ≤ 1. A função de probabilidade a ser maximizada é

:<math>
L(p) = f_D(\mathrm{H} = 49 \mid p) = \binom{80}{49} p^{49}(1-p)^{31},
</math>

e a maximização está acima de todos os valores possíveis 0 ≤ ''p'' ≤ 1.

[[Imagem:BinominalLikelihoodGraph.png|thumb|200px|Probabilidade de diferentes valores de parâmetros de proporção para um processo binomial com ''t'' = 3 e ''n'' = 10]]

Uma maneira de maximizar essa função é por [[derivada|diferenciação]] com relação a ''p'' e definindo para zero:

:<math>
\begin{align}
{0}&{} = \frac{\partial}{\partial p} \left( \binom{80}{49} p^{49}(1-p)^{31} \right) \\[8pt]
 & {}\propto 49p^{48}(1-p)^{31} - 31p^{49}(1-p)^{30} \\[8pt]
 & {}= p^{48}(1-p)^{30}\left[ 49(1-p) - 31p \right]  \\[8pt]
 & {}= p^{48}(1-p)^{30}\left[ 49 - 80p \right]
\end{align}
</math>

a qual tem soluções ''p''&nbsp;=&nbsp;0, ''p''&nbsp;=&nbsp;1, e ''p''&nbsp;=&nbsp;49/80. A solução que maximiza a probabilidade é claramente ''p''&nbsp;=&nbsp;49/80 (desde que ''p''&nbsp;=&nbsp;0 e ''p''&nbsp;=&nbsp;1 resulta em uma probabilidade zero). Então o ''estimador de probabilidade máxima'' para ''p'' é 49/80.

Esse resultado é facilmente generalizado substituindo uma letra como ''t'' no lugar de 49 para representar o número observado de 'sucessos' de nossos [[Ensaio de Bernoulli|ensaios de Bernoulli]], e uma letra tal como ''n'' no lugar de 80 para representar o número de ensaios de Bernoulli. Exatamente o mesmo cálculo produz o ''estimador de probabilidade máxima'' ''t''&nbsp;/&nbsp;''n'' para qualquer sequência de ''n'' ensaios de Bernoulli resultando em ''t'' 'sucessos'.

=== Distribuição contínua com parâmetros contínuos ===

Para a [[distribuição normal]] <math>\mathcal{N}(\mu, \sigma^2)</math> a qual tem [[função densidade de probabilidade]]

:<math>f(x\mid \mu,\sigma^2) = \frac{1}{\sqrt{2\pi}\ \sigma\ }
                              \exp{\left(-\frac {(x-\mu)^2}{2\sigma^2} \right)}, </math>

a função densidade de probabilidade correspondente para uma amostra de ''n'' variáveis aleatórias [[variáveis aleatórias independentes e identicamente distribuídas]] normais (a probabilidade) é

:<math>f(x_1,\ldots,x_n \mid \mu,\sigma^2) = \prod_{i=1}^{n} f( x_{i}\mid  \mu, \sigma^2) = \left( \frac{1}{2\pi\sigma^2} \right)^{n/2} \exp\left( -\frac{ \sum_{i=1}^{n}(x_i-\mu)^2}{2\sigma^2}\right),</math>

ou mais convenientemente:

:<math>f(x_1,\ldots,x_n \mid \mu,\sigma^2) = \left( \frac{1}{2\pi\sigma^2} \right)^{n/2} \exp\left(-\frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2}\right),</math>

onde <math> \bar{x} </math> é a [[Média e covariância amostrais|média amostral]].

Esta família de distribuições possui dois parâmetros: ''θ''&nbsp;=&nbsp;(''μ'',&nbsp;''σ''), então maximizamos a verossimilhança, <math>\mathcal{L} (\mu,\sigma) = f(x_1,\ldots,x_n \mid \mu, \sigma)</math>, sobre os dois parâmetros simultaneamente ou, se possível, individualmente.

Dado que [[Logaritmo natural|logaritmo]] é uma função [[Função contínua|contínua]] [[Função monótona|estritamente crescente]] sobre o [[contradomínio]] da verossimilhança, os valores que maximizam a verossimilhança também maximizarão seu logaritmo. Como maximizar o logaritmo geralmente requer álgebra mais simples, é o logaritmo que é maximizado abaixo.  (Nota: a verossimilhança de log está intimamente relacionada a [[entropia da informação]] e [[informação de Fisher]].)

:<math>
\begin{align}
0 & = \frac{\partial}{\partial \mu} \log \left( \left( \frac{1}{2\pi\sigma^2} \right)^{n/2} \exp\left(-\frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2}\right) \right) \\[6pt]
& = \frac{\partial}{\partial \mu} \left( \log\left( \frac{1}{2\pi\sigma^2} \right)^{n/2} - \frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2} \right) \\[6pt]
& = 0 - \frac{-2n(\bar{x}-\mu)}{2\sigma^2}
\end{align}
</math>

que é resolvido por

:<math>\hat\mu = \bar{x} = \sum^n_{i=1}x_i/n. </math>

Este é realmente o máximo da função, pois é o único ponto de virada em μ e a segunda derivada é estritamente menor que zero. Seu [[valor esperado]] é igual ao parâmetro μ da distribuição dada,

:<math> E \left[ \widehat\mu \right] = \mu, \, </math>

o que significa que o estimador de verossimilhança máxima <math>\widehat\mu</math> é imparcial.

Similarmente diferenciamos a verossimilhança de log em relação a σ e equivale a zero:

:<math>
\begin{align}
0 & = \frac{\partial}{\partial \sigma} \log \left( \left( \frac{1}{2\pi\sigma^2} \right)^{n/2} \exp\left(-\frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2}\right) \right) \\[6pt]
& = \frac{\partial}{\partial \sigma} \left( \frac{n}{2}\log\left( \frac{1}{2\pi\sigma^2} \right) - \frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{2\sigma^2} \right) \\[6pt]
& = -\frac{n}{\sigma} + \frac{ \sum_{i=1}^{n}(x_i-\bar{x})^2+n(\bar{x}-\mu)^2}{\sigma^3}
\end{align}
</math>

que é resolvido por

:<math>\widehat\sigma^2 = \sum_{i=1}^n(x_i-\widehat{\mu})^2/n.</math>

Inserindo <math>\widehat\mu</math> obtem-se

:<math>\widehat\sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (x_{i} - \bar{x})^2 = \frac{1}{n}\sum_{i=1}^n x_i^2
                         -\frac{1}{n^2}\sum_{i=1}^n\sum_{j=1}^n x_i x_j.</math>

Para calcular seu valor esperado, é conveniente reescrever a expressão em termos de variáveis aleatórias com média zero ([[Teoria dos erros|erro estatístico]])  <math>\delta_i \equiv \mu - x_i</math>. Expressar a estimativa nessas variáveis resulta

:<math>\widehat\sigma^2 = \frac{1}{n} \sum_{i=1}^{n} (\mu - \delta_i)^2 -\frac{1}{n^2}\sum_{i=1}^n\sum_{j=1}^n (\mu - \delta_i)(\mu - \delta_j).</math>

Simplificando a expressão acima, utilizando os fatos que <math>E\left[\delta_i\right] = 0 </math> e <math> E[\delta_i^2] = \sigma^2 </math>, nos permite obter

:<math>E \left[ \widehat{\sigma^2}  \right]= \frac{n-1}{n}\sigma^2.</math>

Isso significa que o estimador <math>\widehat\sigma</math> é tendencioso. Contudo, <math>\widehat\sigma</math> é consistente.

Formalmente dizemos que o ''estimador de máxima verossimilhança'' (EMV) para <math>\theta=(\mu,\sigma^2)</math> é:

:<math>\widehat{\theta} = \left(\widehat{\mu},\widehat{\sigma}^2\right).</math>

Neste caso os EMVs pode ser obtido individualmente. Em geral, esse pode não ser o caso, e o EMVs teria que ser obtido simultaneamente.

=== Variáveis não independentes ===

Pode ser que as variáveis estejam correlacionadas, ou seja, não sejam independentes. Duas variáveis aleatórias ''X'' e ''Y'' são independentes apenas se a função de densidade de probabilidade conjunta for o produto das funções individuais de densidade de probabilidade, i.e.

:<math>f(x,y)=f(x)f(y)\,</math>

Suponha que se construa um vetor Gaussiano de ordem ''n'' fora de variáveis aleatórias <math>(x_1,\ldots,x_n)\,</math>, onde cada variável tem médias dadas por <math>(\mu_1, \ldots, \mu_n)\,</math>. Além disso, faz-se a [[matriz de covariância]] ser indicada por <math>\Sigma,</math>

A função densidade de probabilidade conjunta dessas ''n'' variáveis randômicas é então dada por:

:<math>f(x_1,\ldots,x_n)=\frac{1}{(2\pi)^{n/2}\sqrt{\text{det}(\Sigma)}} \exp\left( -\frac{1}{2} \left[x_1-\mu_1,\ldots,x_n-\mu_n\right]\Sigma^{-1}     \left[x_1-\mu_1,\ldots,x_n-\mu_n\right]^T \right)</math>

Nos dois casos variáveis, a função densidade de probabilidade conjunta é dada por:

:<math> f(x,y) = \frac{1}{2\pi \sigma_x \sigma_y \sqrt{1-\rho^2}} \exp\left[ -\frac{1}{2(1-\rho^2)} \left(\frac{(x-\mu_x)^2}{\sigma_x^2} - \frac{2\rho(x-\mu_x)(y-\mu_y)}{\sigma_x\sigma_y} + \frac{(y-\mu_y)^2}{\sigma_y^2}\right) \right] </math>

Neste e em outros casos em que existe uma função de densidade articular, a função de probabilidade é definida como acima, em ''[[Máxima_verossimilhança#Fundamentos|Fundamentos]]'', usando essa densidade.

{{referências}}

{{Econometria|state=autocollapse}}
{{Estatística}}

{{Portal3|Probabilidade e Estatística}}

{{DEFAULTSORT:Maxima Verossimilhanca}}
[[Categoria:Estatística]]
[[Categoria:Econometria]]