Mostrar código-fonte de Teste Kolmogorov-Smirnov

{{Estatística sidebar}}
[[Imagem:KS Example.png|thumb|300px|Ilustração da estatística de Kolmogorov–Smirnov. A linha vermelha é a função distribuição acumulada, a linha azul é a função distribuição empírica e a seta preta é a estatística K–S.]]
Em [[estatística]], o '''teste Kolmogorov–Smirnov''' (também conhecido como '''teste KS''' ou '''teste K–S''') é um [[Estatística não paramétrica|teste não paramétrico]] de [[bondade do ajuste]] sobre a igualdade de [[Distribuição de probabilidade|distribuições de probabilidade]] contínuas e unidimensionais que pode ser usado para comparar uma [[Amostragem (estatística)|amostra]] com uma distribuição de probabilidade de referência (teste K–S uniamostral) ou duas amostras uma com a outra (teste K–S biamostral).<ref>{{Citar livro|url=https://books.google.com.br/books?id=bCDFAAAACAAJ&dq=Applied+Nonparametric+Statistics&hl=pt-BR&sa=X&redir_esc=y|título=Applied Nonparametric Statistics|ultimo=Daniel|primeiro=Wayne W.|data=2000-06-30|editora=Duxbury|lingua=en|isbn=9780534381943}}</ref> Recebe este nome em homenagem aos matemáticos russos [[Andrei Kolmogorov]] e Nikolai Smirnov.

A [[Estatística (função)|estatística]] de Kolmogorov–Smirnov quantifica a [[Métrica (matemática)|distância]] entre a função distribuição empírica da amostra e a [[função distribuição acumulada]] da distribuição de referência ou entre as funções distribuição empírica de duas amostras. A distribuição nula desta estatística é calculada sob a [[hipótese nula]] de que a amostra é retirada da distribuição de referência (no caso uniamostral) ou de que as amostras são retiradas da mesma distribuição (no caso biamostral). Em cada caso, as distribuições consideradas sob a hipótese nula são distribuições contínuas, mas não restritas.

O teste K–S biamostral é um dos métodos não paramétricos mais úteis e difundidos para a comparação de duas amostras, já que é sensível a diferenças tanto no local, como na forma das funções distribuição acumulada empírica das duas amostras.<ref>{{Citar livro|url=https://books.google.com.br/books?id=T3qOqdpSz6YC&printsec=frontcover&dq=Nonparametric+Statistics:+A+Step-by-Step+Approach&hl=pt-BR&sa=X&redir_esc=y#v=onepage&q=Nonparametric%20Statistics:%20A%20Step-by-Step%20Approach&f=false|título=Nonparametric Statistics for Non-Statisticians: A Step-by-Step Approach|ultimo=Corder|primeiro=Gregory W.|ultimo2=Foreman|primeiro2=Dale I.|data=2011-09-20|editora=John Wiley & Sons|lingua=en|isbn=9781118211250}}</ref>

O teste de Kolmogorov–Smirnov pode ser modificado para servir como um teste da qualidade do ajuste. No caso especial do teste da [[Distribuição normal|normalidade]] da distribuição, as amostras são padronizadas e comparadas com uma distribuição normal padrão. Isto equivale a tornar a média e a [[variância]] da distribuição de referência iguais aos estimados da amostras, sabendo que usar isto para definir a distribuição de referência específica muda a distribuição nula da estatística. Vários estudos encontraram que, mesmo nesta forma corrigida, o teste é menos potente em avaliar a normalidade do que o teste de Shapiro–Wilk e o teste de Anderson–Darling.<ref>{{Citar periódico|ultimo=Stephens|primeiro=M. A.|data=1974-09-01|titulo=EDF Statistics for Goodness of Fit and Some Comparisons|jornal=Journal of the American Statistical Association|volume=69|numero=347|paginas=730–737|issn=0162-1459|doi=10.2307/2286009|url=http://www.tandfonline.com/doi/abs/10.1080/01621459.1974.10480196}}</ref> Entretanto, estes outros testes também têm suas desvantagens. O teste de Shapiro–Wilk, por exemplo, é conhecido por não funcionar bem em amostras com muitos valores idênticos.

==Estatística de Kolmogorov-Smirnov==
A função distribuição empírica <math>F_n</math> para <math>n</math> observações <math>X_i</math> independentes e identicamente distribuídas é definida como

:<math>F_n(x)={1 \over n}\sum_{i=1}^n I_{[-\infty,x]}(X_i)</math>

em que <math>I_{[-\infty,x]}(X_i)</math> é a [[função indicadora]], igual a 1 se <math>X_i\leq x</math> e igual a 0 de outro modo.

A estatística de Kolmogorov–Smirnov para uma dada função distribuição acumulada <math>F(x)</math> é

:<math>D_n= \sup_x |F_n(x)-F(x)|</math>

em que <math>\sup_x</math> é o [[Supremo e ínfimo|supremo]] do conjunto de distâncias. Pelo teorema de Glivenko–Cantelli, se a amostra vier da distribuição <math>F(x)</math>, então <math>D_n</math> converge a 0 [[quase certamente]] no limite quando <math>n</math> vai ao infinito. Kolmogorov fortaleceu este resultado ao oferecer efetivamente a razão desta convergência como mostrado abaixo. O [[Teorema de Donsker]] oferece um resultado ainda mais forte.

Na prática, a estatística exige um número relativamente grande de pontos de dados para que se rejeite adequadamente a hipótese nula.

==Distribuição de Kolmogorov==
A distribuição de Kolmogorov é a distribuição da [[variável aleatória]]

:<math>K=\sup_{t\in[0,1]}|B(t)|</math>

em que <math>B(t)</math> é a ponte browniana. A função distribuição acumulada de <math>K</math> é dada por<ref>{{Citar web|url=https://www.jstatsoft.org/article/view/v008i18|titulo=Evaluating Kolmogorov's Distribution {{!}} Marsaglia {{!}} Journal of Statistical Software|acessodata=2017-07-04|doi=10.18637/jss.v008.i18}}</ref>

:<math>\operatorname{Pr}(K\leq x)=1-2\sum_{k=1}^\infty (-1)^{k-1} e^{-2k^2 x^2}=\frac{\sqrt{2\pi}}{x}\sum_{k=1}^\infty e^{-(2k-1)^2\pi^2/(8x^2)},</math>

que também pode ser expressa pela [[função teta]] de Jacobi <math>\vartheta_{01}(z=0;\tau=2ix^2/\pi)</math>. Tanto a forma da estatística do teste de Kolmogorov–Smirnov, como sua distribuição assintótica sob a hipótese nula foram publicadas por Kolmogorov,<ref name=":0">{{citar periódico|ultimo=Kolmogorov|primeiro=Andrei|ano=1933|titulo=Sulla determinazione empirica di una legge di distribuzione|jornal=Giornale dell'istituto italiano degli attuari|volume=4|paginas=83-91|url=|acessadoem=}}</ref> enquanto uma tabela da distribuição foi publicada por Smirnov.<ref>{{Citar periódico|ultimo=Smirnov|primeiro=N.|ano=1948|mes=6|titulo=Table for Estimating the Goodness of Fit of Empirical Distributions|jornal=The Annals of Mathematical Statistics|volume=19|numero=2|paginas=279–281|issn=0003-4851|doi=10.1214/aoms/1177730256|url=http://projecteuclid.org/euclid.aoms/1177730256|acessadoem=|idioma=EN}}</ref> Relações de recorrência para a distribuição da estatística do teste em amostras finitas também foram divulgadas por Kolmogorov.<ref name=":0" />

Sob a hipótese nula de que a amostra vem da distribuição hipotetizada <math>F(x)</math>,

:<math>\sqrt{n}D_n\xrightarrow{n\to\infty}\sup_t |B(F(t))|</math>

[[Convergência de variáveis aleatórias|em distribuição]], em que <math>B(t)</math> é a ponte browniana.

Se <math>F</math> for contínua, então, sob a hipótese nula, <math>\sqrt{n}D_n</math> converge para a distribuição de Kolmogorov, que não depende de ''<math>F</math>''. Este resultado também pode ser conhecido como teorema de Kolmogorov.

O teste de Kolmogorov–Smirnov para a qualidade do ajuste é construído pelo uso de valores críticos da distribuição de Kolmogorov.<ref>{{Citar periódico|ultimo=Stephens|primeiro=M. A.|data=1979-12-01|titulo=Tests of fit for the logistic distribution based on the empirical distribution function|jornal=Biometrika|volume=66|numero=3|paginas=591–595|issn=0006-3444|doi=10.1093/biomet/66.3.591|url=https://academic.oup.com/biomet/article/66/3/591/232613/Tests-of-fit-for-the-logistic-distribution-based}}</ref> A hipótese nula é rejeitada no nível <math>\alpha</math> se

:<math>\sqrt{n}D_n>K_\alpha,\,</math>

em que <math>K_\alpha</math> é encontrado a partir de

:<math>\operatorname{Pr}(K\leq K_\alpha)=1-\alpha.\,</math>

A [[Potência estatística|potência]] assintótica deste teste é 1.

===Teste com parâmetros estimados===
Se a forma ou os parâmetros de <math>F(x)</math> forem determinados a partir dos dados <math>X_i</math>, os valores críticos determinados desta forma são inválidos. Em tais casos, o [[método de Monte Carlo]] ou outros métodos podem ser exigidos e as tabelas foram preparadas para alguns casos. Os detalhes para as modificações exigidas para a estatística do teste e para os valores críticos para a distribuição normal e para a [[distribuição exponencial]] foram divulgados.<ref name="Pearson & Hartley">{{citar livro|título=Biometrika Tables for Statisticians|editores=Pearson, E. S. and Hartley, H. O.|ano=1972|volume=2|publicado=Cambridge University Press|isbn=0-521-06937-8|páginas=117–123, Tables 54, 55}}</ref> Publicações mais recentes incluem a [[distribuição de Gumbel]].<ref name="Shorak & Wellner">{{citar livro|título=Empirical Processes with Applications to Statistics|primeiro1 =Galen R.|último1 =Shorack|primeiro2 =Jon A.|último2 =Wellner|ano=1986|isbn=047186725X|publicado=Wiley|página=239}}</ref> O teste de Lillefors representa um caso especial desta questão para a distribuição normal. A transformação do logaritmo pode ajudar a superar casos em que os dados do teste de Kolmogorov parecem não se ajustar ao pressuposto de que veio da distribuição normal.

===Distribuição nula discreta===
O teste de Kolmogorov–Smirnov deve ser adaptado para variáveis discretas.<ref name="arnold-emerson">{{citar periódico|primeiro1 =Taylor B.|último1 =Arnold|primeiro2 =John W.|último2 =Emerson|ano=2011|título=Nonparametric Goodness-of-Fit Tests for Discrete Null Distributions|periódico=The R Journal|volume=3|número=2|páginas=34–39|url=http://journal.r-project.org/archive/2011-2/RJournal_2011-2_Arnold+Emerson.pdf}}</ref> A forma da estatística do teste permanece igual à do caso contínuo, mas o cálculo de seu valor é mais sutil. Isto pode ser visto quando se computa a estatística do teste entre uma distribuição contínua <math>f(x)</math> e uma função de etapa <math>g(x)</math> que tem uma descontinuidade em <math>x_i</math>. Em outras palavras, o limite <math>\lim_{x\rightarrow x_i} g(x)</math>, se existir, é diferente de <math> g(x_i) </math>. Assim, quando se computa a estatística

:<math>\sup_x |g(x)-f(x)| = \max_i \left[ \max\left( |g(x_i)-f(x_i)|,\lim_{x\rightarrow x_i} |g(x) - f(x_{i-1})| \right) \right],</math>

não fica claro como realocar o limite, a não ser que se saiba o valor limitante da distribuição subjacente.

==Teste Kolmogorov-Smirnov biamostral==
[[Imagem:KS2 Example.png|thumb|300px|Ilustração da estatística biamostral de Kolmogorov–Smirnov. As linhas vermelha e azul correspondem a funções distribuição empírica e a seta preta é a estatística K–S biamostral.]]

O teste Kolmogorov–Smirnov pode também ser usado para testar se duas distribuições de probabilidade unidimensionais subjacentes diferem entre si. Neste caso, a estatística de Kolmogorov–Smirnov é

:<math>D_{n,m}=\sup_x |F_{1,n}(x)-F_{2,m}(x)|,</math>

em que <math>F_{1,n}</math> e <math>F_{2,m}</math> são as funções distribuição empírica da primeira e da segunda amostra respectivamente e <math>\sup</math> é a função supremo.

A hipótese nula é rejeitada ao nível <math>\alpha</math> se

:<math>D_{n,m}>c(\alpha)\sqrt{\frac{n + m}{n m}}.</math><ref name=":1">{{citar web|url=https://www.webdepot.umontreal.ca/Usagers/angers/MonDepotPublic/STT3500H10/Critical_KS.pdf|titulo=Critical Values for the Two-sample Kolmogorov-Smirnov test (2-sided)|data=|acessodata=04/07/2017|publicado=Universidade de Montreal|ultimo=|primeiro=}}</ref>

<math>n</math> e <math>m</math> são os tamanhos da primeira e da segunda amostras respectivamente. O valor de <math>c({\alpha})</math> é dado na tabela abaixo para os níveis mais comuns de <math>\alpha</math><ref name=":1" />

{| class="wikitable"
|-
| <math>\alpha</math> || 0.10 || 0.05 || 0.025 || 0.01 || 0.005 || 0.001
|-
| <math>c({\alpha})</math> || 1.22 || 1.36 || 1.48 || 1.63 || 1.73 || 1.95
|}

e, em geral, por

:<math>c\left(\alpha\right)=\sqrt{-\frac{1}{2}\ln\left(\frac{\alpha}{2}\right)}.</math>

O teste biamostral verifica se as duas amostras de dados vêm da mesma distribuição e não especifica qual é esta distribuição comum, isto é, se é normal ou não normal. Tabelas de valores críticos para este caso também foram publicadas.<ref name="Pearson & Hartley" /><ref name=":1" /> Estes valores críticos têm algo em comum com o teste de Anderson–Darling e o teste [[qui-quadrado]], nomeadamente, o fato de que valores mais altos tendem a ser mais raros.<ref>{{Citar livro|url=https://books.google.com.br/books?id=nIaxoAEACAAJ&dq=mehta+statistics+topics&hl=pt-BR&sa=X&redir_esc=y|título=Statistics Topics|ultimo=Mehta|primeiro=Salil|data=2014-04-01|editora=Createspace Independent Pub|lingua=en|isbn=9781499273533}}</ref>

==Limites de confiança para a forma da função distribuição==
Enquanto o teste Kolmogorov–Smirnov é geralmente usado para testar se uma dada <math>F(x)</math> é a distribuição de probabilidade subjacente de <math>F_n(x)</math>, o procedimento pode ser invertido para dar limites de confiança à própria <math>F(x)</math>. Caso se escolha um valor crítico da estatística de teste <math>D_\alpha</math>, tal que <math>P(D_n>D_\alpha)=\alpha</math>, então a banda de largura <math>\pm D_\alpha</math> em torno de <math>F_n(x)</math> conterá inteiramente <math>F(x)</math> com probabilidade <math>1-\alpha</math>.

==Estatística de Kolmogorov–Smirnov em mais de uma dimensão==
Um teste Kolmogorov–Smirnov de qualidade do ajuste multivariado e livre de distribuição foi proposto por Ana Justel, Daniel Peña e Rubén Zamar em 1997.<ref>{{Citar periódico|ultimo=Justel|primeiro=Ana|ultimo2=Peña|primeiro2=Daniel|ultimo3=Zamar|primeiro3=Rubén|data=1997-10-15|titulo=A multivariate Kolmogorov-Smirnov test of goodness of fit|jornal=Statistics & Probability Letters|volume=35|numero=3|paginas=251–259|doi=10.1016/s0167-7152(97)00020-5|url=http://www.sciencedirect.com/science/article/pii/S0167715297000205}}</ref> O teste usa uma estatística construída pelo uso da transformação de Rosenblatt e um [[algoritmo]] é usado para a computação no caso bivariado. Um teste aproximado facilmente computado em qualquer dimensão também é apresentado.

A estatística do teste Kolmogorov–Smirnov precisa ser modificada se um teste semelhante for aplicado a [[Estatística multivariável|dados multivariados]]. Ela não pode ser aplicada diretamente porque a diferença máxima entre duas funções distribuição acumulada conjuntas geralmente não é igual à diferença máxima de qualquer uma das funções distribuição complementares. Assim, a diferença máxima será diferente, dependendo se <math>\Pr(x < X \land y < Y)</math> ou <math>\Pr(X < x \land Y > y)</math> ou qualquer um dos dois outros arranjos possíveis for usado. Pode-se exigir que o resultado do teste usado não dependa da escolha feita.

Uma abordagem à generalização da estatística de Kolmogorov–Smirnov para dimensões mais elevadas que leva em conta a preocupação acima consiste em comparar as funções distribuição acumulada das duas amostras com todos os ordenamentos possíveis e tomar o maior conjunto das estatísticas K–S resultantes. Em <math>d</math> dimensões, o número de ordenamentos é <math>2^d-1</math>. Uma variação deste tipo foi proposta por J. A. Peacock<ref>{{Citar periódico|ultimo=Peacock|primeiro=J. A.|data=1983-03-01|titulo=Two-dimensional goodness-of-fit testing in astronomy|jornal=Monthly Notices of the Royal Astronomical Society|volume=202|numero=3|paginas=615–627|issn=0035-8711|doi=10.1093/mnras/202.3.615|url=https://academic.oup.com/mnras/article/202/3/615/967854/Two-dimensional-goodness-of-fit-testing-in}}</ref> e outra por G. Fasano e A. Francischini,<ref>{{Citar periódico|ultimo=Fasano|primeiro=G.|ultimo2=Franceschini|primeiro2=A.|data=1987-03-01|titulo=A multidimensional version of the Kolmogorov–Smirnov test|jornal=Monthly Notices of the Royal Astronomical Society|volume=225|numero=1|paginas=155–170|issn=0035-8711|doi=10.1093/mnras/225.1.155|url=https://academic.oup.com/mnras/article/225/1/155/1007281/A-multidimensional-version-of-the-Kolmogorov}}</ref> ambas comparadas por R. H. C. Lopes.<ref name="Lopes">{{citar conferência|autor=Lopes, R.H.C., Reid, I., Hobson, P.R.|título=The two-dimensional Kolmogorov–Smirnov test|conferencia=XI International Workshop on Advanced Computing and Analysis Techniques in Physics Research|data=23–27 de abril de 2007|local=Amsterdam, the Netherlands|url=http://dspace.brunel.ac.uk/bitstream/2438/1166/1/acat2007.pdf}}</ref> Valores críticos para a estatística do teste podem ser obtidos por simulações, mas isto depende da estrutura de dependência da distribuição conjunta.

==Ver também==
*[[Teste de Kuiper]]

==Referências==
{{Reflist}}

==Ligações externas==
*[https://www.encyclopediaofmath.org/index.php/Kolmogorov-Smirnov_test Teste Kolmogorov–Smirnov na ''Encyclopedia of Mathematics''] (em inglês)
*[https://web.archive.org/web/20050710021649/http://www.physics.csbsju.edu/stats/KS-test.html Breve introdução do Departamento de Física do College of Saint Benedict e Saint John's University de Minnesota] (em inglês)
*[http://www.itl.nist.gov/div898/handbook/eda/section3/eda35g.htm Breve introdução do ''Engineering Statistics Handbook''] (em inglês)
*[https://jumk.de/statistic-calculator/ Calculadora ''on-line'' com teste Kolmogorov–Smirnov] (em inglês)

{{Estatística}}

{{Portal3|Probabilidade e estatística}}

[[Categoria:Testes estatísticos]]