Mostrar código-fonte de Estimativa de densidade kernel

{{wikificação|data=fevereiro de 2014}}
Em [[Estatística]], estimativa de densidade por Kernel (EDK) é uma forma [[Estatística não paramétrica|não-paramétrica]] para estimar a [[Função densidade]] de probabilidade (FDP) de uma variável aleatória. Estimativa da densidade por Kernel é um problema fundamental de suavização de dados onde inferências sobre a população são feitas com base em uma amostra de dados finita. Em alguns campos, como o [[Processamento de sinal|Processamento de sinais]]  e [[Econometria]] é também denominado como o método da janela de Parzen-Rosenblatt, devido aos nomes de [[Emanuel Parzen]] e [[Murray Rosenblatt]], que são creditados por criá-lo de forma independente em sua forma atual.<ref name="Não_nomeado-xqN3-1">{{Citar periódico|titulo = Remarks on Some Nonparametric Estimates of a Density Function|url = http://projecteuclid.org/euclid.aoms/1177728190|jornal = The Annals of Mathematical Statistics|data = 1956-09-01|issn = 0003-4851|paginas = 832-837|volume = 27|numero = 3|doi = 10.1214/aoms/1177728190|idioma = EN|primeiro = Murray|ultimo = Rosenblatt}}</ref><ref name="Não_nomeado-xqN3-2">{{Citar periódico|titulo = On Estimation of a Probability Density Function and Mode|url = http://projecteuclid.org/euclid.aoms/1177704472|jornal = The Annals of Mathematical Statistics|data = 1962-09-01|issn = 0003-4851|paginas = 1065-1076|volume = 33|numero = 3|doi = 10.1214/aoms/1177704472|idioma = EN|primeiro = Emanuel|ultimo = Parzen}}</ref>

==Definição==
Seja (''x''<sub>1</sub>, ''x''<sub>2</sub>, …, ''x<sub>n</sub>'') uma amostra de uma [[Variáveis aleatórias independentes e identicamente distribuídas|variável aleatória independente e identicamente distribuída]] com uma densidade ƒ desconhecida. Estamos interessados em estimar a forma desta função ƒ. A estimativa de densidade por Kernel pode ser feita através da seguinte fórmula:

: <math display="block">
    \hat{f}_h(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big),
  </math>

em que K é um kernel qualquer, como por exemplo a [[Função de Gauss]], e h > 0 é um parâmetro de distância chamado de largura de banda, que controla a influência dos vizinhos em um kernel.  Um kernel com [[índice h]] é um kernel que já foi escalonado pela largura de banda, e definido como K<sub>h</sub>(x) = 1/h K(x/h). Intuitivamente procura-se escolher um valor de h tão pequeno quanto a distribuição dos dados em uma amostra permitem. No entanto, há sempre um compromisso entre o viés da estimativa e sua [[variância]]. Mais informações sobre a escolha da largura de banda estão adiante neste artigo.

Uma gama de funções do kernel são regularmente usadas : uniforme , triangular, biweight , triweight , Epanechnikov , normal, e outras. O kernel Epanechnikov é o ideal no sentido de variância mínima,<ref>{{citar periódico|doi=10.1137/1114019 |autor =Epanechnikov, V.A. |título=Non-parametric estimation of a multivariate probability density |periódico=Theory of Probability and its Applications |volume=14 |páginas=153–158 |ano=1969}}</ref> embora a perda de eficiência seja pequena para as funções kernel listadas anteriormente,<ref name="WJ1995">{{citar livro|autor1 =Wand, M.P |autor2 =Jones, M.C. |título=Kernel Smoothing |publicado=Chapman & Hall/CRC |local=London |ano=1995 |isbn=0-412-55270-1}}</ref> e devido às suas propriedades matemáticas convenientes, o kernel normal é muitas vezes usado K(x) = φ(x) , onde φ é a função de densidade normal padrão.

A construção de uma estimativa de densidade kernel encontra interpretações em campos fora da estimativa da densidade. Por exemplo , em [[Termodinâmica]], este é equivalente à quantidade de calor gerado quando os kernels de calor ( a [[solução fundamental]] para a [[Equação do calor]]) são colocados em cada localização de pontos de dados ''x<sub>i</sub>'' . Métodos similares são usados para construir o [[Laplaciano]] discreto em nuvens de pontos para manifold learning.

===Exemplo===

Estimativas de densidade kernel estão intimamente relacionados com os [[histogramas]], mas pode ser dotado de propriedades como suavidade ou continuidade usando um kernel adequado . Para ver isto, nós comparamos a construção do histograma e da estimação de densidade do kernel , usando estes 6 pontos de dados : 

{| class="wikitable"

|-

! Amostra

| 1 

| 2 

| 3 

| 4 

| 5 

| 6

|-

! Valor 

| -2.1 

| -1.3 

| -0.4 

| 1.9 

| 5.1 

| 6.2

|}

Para o histograma, o primeiro eixo horizontal é dividido em sub-intervalos ou caixas que cobrem a gama dos dados. Neste caso, temos 6 caixas com largura 2 no intervalo [-6,9]. Sempre que um ponto de dados cai dentro deste intervalo, colocamos uma caixa de altura 1. Se mais do que um ponto de dados cai dentro da mesma caixa, as caixas são empilhadas uma em cima das outras .

Para o cálculo de densidade por Kernel, coloca-se um kernel gaussiano com [[desvio padrão]] de 2,5 com média nas abscissas indicadas pelos dados. Os kernels são somados e divididos pelo tamanho da amostra para fazer a estimativa de densidade de kernel (curva preta sólida). A suavidade da estimativa de densidade por kernel é evidente em comparação com a singularidade do histograma, já que as estimativas de densidade de kernel convergem mais rapidamente em direção a verdadeira densidade da população para variáveis aleatórias contínuas.<ref>{{citar periódico|autor =Scott, D. |título=On optimal and data-based histograms |periódico=Biometrika |ano=1979 |volume=66 |páginas=605–610 |doi=10.1093/biomet/66.3.605 |número=3}}</ref>

<br />

[[Ficheiro:Comparação de um Histograma com sua Estimativa de Densidade por Kernel.png|thumb|center|500px|alt=Comparação de um histograma (a esquerda) e uma estimativa de densidade por kernel (a direita) construídos usando os mesmos dados.|Comparação de um histograma (a esquerda) e uma estimativa de densidade por kernel (a direita) construídos usando os mesmos dados [-2.1, -1.3, -0.4, 1.9, 5.1, 6.2]. O Histograma foi criado usando o intervalo [-6,9] dividido em caixas de tamanho 2. Enquanto que a estimativa foi feita com 6 kernels gaussianos de desvio padrão 2.5 e de média nas abscissas descritas pelos dados. ]]
<br />

==Seleção de largura de banda==

'''Gráfico'''[https://upload.wikimedia.org/wikipedia/en/e/e5/Comparison_of_1D_bandwidth_selectors.png]

A largura de banda do kernel é um parâmetro livre que apresenta uma forte influência sobre a estimativa resultante. Para ilustrar o seu efeito, vamos dar uma amostra aleatória simulada a partir da [[distribuição normal]] (plotados nos pontos azuis na trama tapete no eixo horizontal). A curva de cinza é a verdadeira densidade (a densidade normal com média 0 e variância 1). Em comparação, a curva é pouco suavizada vermelho, uma vez que contém demasiados artefactos de dados espúrios decorrentes da utilização de uma largura de banda h = 0,05 que é muito pequeno. A curva verde é muito suavizada desde usando a largura de banda h = 2 obscurece grande parte da estrutura subjacente. A curva de preto com uma largura de banda de h = 0,337 é considerada para ser perfeitamente alisada desde a sua estimativa da densidade é próxima da densidade verdadeira.

O critério de [[otimização]] mais comum usado para selecionar este parâmetro é a função de risco L2 esperado, também denominado a média integrada erro quadrático

: <math>\operatorname{MISE} (h) = E \int (\hat{f}_h(x) - f(x))^2 \, dx.</math>

Sob premissas fracas sobre ƒ e K,<ref name="Não_nomeado-xqN3-1"/><ref name="Não_nomeado-xqN3-2"/> MISE (''h'') = AMISE(''h'') + ''o(1/(nh) + h<sup>4</sup>)'' onde ''o'' é a [[little o notation]].
A AMISE é a MISE Assimptótica que consiste em os dois termos principais

:<math>\operatorname{AMISE}(h) = \frac{R(K)}{nh} + \frac{1}{4} m_2(K)^2 h^4 R(f'')</math>

Onde <math>R(g) = \int g(x)^2 \, dx</math> para a função ''g'', <math>m_2(K) = \int x^2 K(x) \, dx</math>
e ''ƒ'''' é a segunda derivada de ''ƒ''. O mínimo dessa AMISE é a solução para esta equação diferencial.

:<math> \frac{\partial}{\partial h} \operatorname{AMISE}(h) = -\frac{R(K)}{nh^2} +  m_2(K)^2 h^3 R(f'') = 0 </math>

ou

:<math>h_{\operatorname{AMISE}} = \frac{ R(K)^{1/5}}{m_2(K)^{2/5}R(f'')^{1/5} n^{1/5}}.</math>

Nem o AMISE nem as fórmulas ''h''<sub>AMISE</sub> são capazes de serem usadas diretamente , dado que envolvem a desconhecida função de densidade ''ƒ'' ou a sua segunda derivada ''ƒ'''' , de modo que uma variedade de métodos automáticos, à base de dados, foram desenvolvidos para selecionar a largura de banda . Muitos estudos de revisão foram realizados para comparar as suas eficiências<ref>{{citar periódico|autor1 =Park, B.U. |autor2 =Marron, J.S. |ano=1990 |título=Comparison of data-driven bandwidth selectors |periódico=Journal of the American Statistical Association |volume=85 |número=409 |páginas=66–72 |jstor=2289526 |doi=10.1080/01621459.1990.10475307}}</ref><ref>{{citar periódico|autor1 =Park, B.U. |autor2 =Turlach, B.A. |ano=1992 |título=Practical performance of several data driven bandwidth selectors (with discussion) |periódico=Computational Statistics |volume=7 |páginas=251–270}}</ref><ref>{{citar periódico|autor1 =Cao, R. |autor2 =Cuevas, A. |autor3 =Manteiga, W. G. |ano=1994 |título=A comparative study of several smoothing methods in density estimation |periódico=Computational Statistics and Data Analysis |volume=17 |páginas=153–176 |doi=10.1016/0167-9473(92)00066-Z|número=2}}</ref><ref>{{citar periódico|doi=10.2307/2291420 |autor1 =Jones, M.C. |autor2 =Marron, J.S. |autor3 =Sheather, S. J. |ano=1996 |título=A brief survey of bandwidth selection for density estimation|periódico=Journal of the American Statistical Association |volume=91 |número=433 |páginas=401–407 |jstor=2291420}}</ref><ref>{{citar periódico|autor =Sheather, S.J. |ano=1992 |título=The performance of six popular bandwidth selection methods on some real data sets (with discussion) |periódico=Computational Statistics |volume=7 |páginas=225–250, 271–281}}</ref> with the general consensus that the plug-in selectors<ref name="SJ91">{{citar periódico|autor1 =Sheather, S.J. |autor2 =Jones, M.C. |ano=1991 |título=A reliable data-based bandwidth selection method for kernel density estimation |periódico=Journal of the Royal Statistical Society, Series B |volume=53 |número=3 |páginas=683–690 |jstor=2345597}}</ref> and [[cross validation]] selectors,<ref>{{citar periódico|autor =Rudemo, M. |ano=1982 |título=Empirical choice of histograms and kernel density estimators |periódico=Scandinavian Journal of Statistics |volume=9 |número=2 |páginas=65–78 |jstor=4615859}}</ref><ref>{{citar periódico|autor =Bowman, A.W. |ano=1984 |título=An alternative method of cross-validation for the smoothing of density estimates |periódico=Biometrika |volume=71 |páginas=353–360 |doi=10.1093/biomet/71.2.353 |número=2}}</ref><ref>{{citar periódico|autor1 =Hall, P. |autor2 =Marron, J.S. |autor3 =Park, B.U. |ano=1992 |título=Smoothed cross-validation |periódico=Probability Theory and Related Fields |volume=92 |páginas=1–20 |doi=10.1007/BF01205233}}</ref> com o consenso geral de que o  seletores plug-in  e seletores de validação cruzada são os mais úteis sobre uma vasta gama de conjuntos de dados .

Substituindo qualquer largura de banda h que tem a mesma ordem assintótica''n''<sup>&minus;1/5</sup> por ''h''<sub>AMISE</sub> na AMISE que dá AMISE ( h ) = O (n -4 /5) , em que S é a grande o notação . Pode ser mostrado que , com base em hipóteses fracas , não pode existir um estimador não paramétrico que converge a uma taxa mais rápida do que o estimador de kernel.<ref>{{citar periódico|doi=10.1214/aos/1176342997|último =Wahba|primeiro =G.|título=Optimal convergence properties of variable knot, kernel, and orthogonal series methods for density estimation|url=http://projecteuclid.org/euclid.aos/1176342997|periódico=[[Annals of Statistics]]|ano=1975|volume=3|número=1|páginas=15–29}}</ref> Note-se que a taxa de n- 4/5 é mais lento do que o normal n- 1 convergência taxa de métodos paramétricos .

Se a largura de banda não é mantida fixa, mas é variável dependendo da localização da estimativa ( estimador de balão ) ou das amostras ( pontual estimador ), este produz um método particularmente eficaz denominado adaptativa ou estimativa de densidade de kernel de largura de banda variável.

===Estimativa prática da largura de banda===

Se funções de base gaussianas são usados para aproximar dados univariados, e a densidade a ser estimada é de base gaussiana, então ele pode ser mostrado que a escolha ideal para ''h'' é<ref name="SI1998">{{citar livro|último =Silverman |primeiro = B.W. |autorlink = Bernard Silverman |título=Density Estimation for Statistics and Data Analysis |publicado=Chapman & Hall/CRC |local=London |ano=1998 |isbn=0-412-24620-1|página=48}}</ref>

:<math>h = \left(\frac{4\hat{\sigma}^5}{3n}\right)^{\frac{1}{5}} \approx 1.06 \hat{\sigma} n^{-1/5},</math>

Onde <math>\hat{\sigma}</math> é o desvio padrão das amostras
Essa aproximação é chamado de aproximação normal de distribuição, a aproximação de Gauss, ou '' regra de [[Bernard Silverman|Silverman]]'s''.

==Relação com a função característica do estimador de densidade==
Dada a amostra (''x''<sub>1</sub>, ''x''<sub>2</sub>, …, ''x<sub>n</sub>'') é natural estimar a função característica {{nowrap|''φ''(''t'') {{=}} E[''e''<sup>''itX''</sup>]}} como

: <math>
    \hat\varphi(t) = \frac{1}{n} \sum_{j=1}^n e^{itx_j}
  </math>

Conhecendo a função característica, é possível encontrar a função de densidade de probabilidade correspondente através da [[Transformada de Fourier|inversa da transformada de Fourier]]. Uma dificuldade com a aplicação desta fórmula é que ele leva a um integral divergente uma vez que a estimativa <math style="vertical-align:-.3em">\scriptstyle\hat\varphi(t)</math> não é confiável para ''t''’s grandes. Para contornar este problema, o estimador de <math style="vertical-align:-.3em">\scriptstyle\hat\varphi(t)</math> é multiplicado por uma função de amortecimento{{nowrap|''ψ<sub>h</sub>''(''t'') {{=}} ''ψ''(''ht'')}}, que é igual a 1, na origem, e, em seguida, cai para 0 até ao infinito. O parâmetro "largura de banda" h controla quão rápido vamos tentar amortecer a função <math style="vertical-align:-.3em">\scriptstyle\hat\varphi(t)</math>. Em particular, quando h é pequena, então ''ψ<sub>h</sub>''(''t'') irá ser cerca de um para um grande intervalo de ''t''’s, o que significa que <math style="vertical-align:-.3em">\scriptstyle\hat\varphi(t)</math> permanece praticamente inalterada na região mais importante de of''t''’s.

A escolha mais comum para a função ''ψ'' ou é a função uniforme {{nowrap|''ψ''(''t'') {{=}} '''1'''{−1 ≤ ''t'' ≤ 1}}}, o que efetivamente significa truncar o intervalo de integração na fórmula de inversão para {{nowrap|[−1/''h'', 1/''h'']}}, ou o [[função gaussiana]] {{nowrap|''ψ''(''t'') {{=}} ''e''<sup>''−π&thinsp;t''<sup>2</sup></sup>}}. Uma vez que a função ''ψ'' tenha sido escolhido, a fórmula de inversão pode ser aplicada, e o estimador de densidade será

: <math>\begin{align}
    \hat{f}(x) &= \frac{1}{2\pi} \int_{-\infty}^{+\infty} \hat\varphi(t)\psi_h(t) e^{-itx}dt
                = \frac{1}{2\pi} \int_{-\infty}^{+\infty} \frac{1}{n} \sum_{j=1}^n e^{it(x_j-x)} \psi(ht) dt \\
               &= \frac{1}{nh} \sum_{j=1}^n \frac{1}{2\pi} \int_{-\infty}^{+\infty} e^{-i(ht)\frac{x-x_j}{h}} \psi(ht) d(ht)
                = \frac{1}{nh} \sum_{j=1}^n K\Big(\frac{x-x_j}{h}\Big),
  \end{align}</math>
Onde ''K'' é a transformada inversa de fourier da função de amortecimento ''ψ''. Assim, o estimador de densidade de kernel coincide com o estimador de densidade da função característica.

==Implementação estatística==

===Implementação em MATLAB-Octave===
Para este exemplo, os dados são de uma amostra de 50 pontos sintéticos desenhados a partir da normal padrão e 50 pontos a partir de uma distribuição normal com média de 3.5 e variância 1. A seleção automática da largura de banda e a estimação da densidade com kernels normais é realizada por [http://www.mathworks.com/matlabcentral/fileexchange/14034 kde.m]
<syntaxhighlight lang="matlab" style="overflow:auto;">
 randn('seed',8192);
 x = [randn(50,1); randn(50,1)+3.5];
 [h, fhat, xgrid] = kde(x, 401);
 figure;
 hold on;
 plot(xgrid, fhat, 'linewidth', 2, 'color', 'black');
 plot(x, zeros(100,1), 'b+');
 xlabel('x')
 ylabel('Density function')
 hold off;
</syntaxhighlight>

===Implementação em R===

Este exemplo é baseado no [[Old Faithful]] , uma atração turística localizada no parque nacional de Yellowstone. Este conjunto de dados famoso contendo 272 registros consiste em duas variáveis, duração erupção , e tempo de espera até a próxima erupção, tanto em questão de minutos , incluído na distribuição base do R. Analisamos os tempos de espera , utilizando a biblioteca ks uma vez que tem uma ampla gama de opções de visualização . A função de largura de banda é <code>hpi</code>, que por sua vez chama a função <code>dpik</code> na biblioteca <code>KernSmooth</code>: estas funções implementam o plug-in seletor.<ref name="SJ91"/> a densidade kernel estimada usando o kernel normal é calculado usando <code>kde</code> que chama <code>bkde</code> de <code>KernSmooth</code>. O função <code>plot</code>  permite a adição de pontos de dados como uma trama de tapete no eixo horizontal. A estrutura bimodal na estimativa da densidade dos tempos de espera pode ser visto claramente , em contraste com o "terreno de tapete" onde esta estrutura não é aparente .

<syntaxhighlight lang="rsplus" style="overflow:auto;">
 library(KernSmooth)
 attach(faithful)
 fhat <- bkde(x=waiting)
 plot (fhat, xlab="x", ylab="Density function")
</syntaxhighlight>

{{referências}}

[[Categoria:Estatística]]