Convergência de variáveis aleatórias

Em teoria das probabilidades, existem várias noções diferentes de convergência de variáveis aleatórias. A convergência de sequências de variáveis aleatórias a alguma variável aleatória limite é um importante conceito em teoria das probabilidades e tem aplicações na estatística e nos processos estocásticos. Os mesmos conceitos são conhecidos em matemática geral como convergência estocástica e formalizam a ideia de que é possível esperar que uma sequência de eventos essencialmente aleatórios ou imprevisíveis às vezes mantenha um comportamento essencialmente imutável quando itens suficientemente distantes na sequência são estudados. As possíveis noções diferentes de convergência se relacionam a como tal comportamento pode ser caracterizado: dois comportamentos prontamente entendidos são que a sequência eventualmente assume um valor constante e que os valores na sequência continuam mudando, mas podem ser descritos por uma distribuição de probabilidade imutável.

Plano de fundo

A expressão "convergência estocástica" formaliza a ideia de que é possível esperar que uma sequência de eventos essencialmente aleatórios ou imprevisíveis siga eventualmente um padrão. Este padrão pode ser, por exemplo,

• Convergência no sentido clássico de um valor fixado, talvez ele mesmo vindo de um evento aleatório;
• Uma semelhança crescente dos eventos ao que uma função puramente determinística produziria;
• Uma preferência crescente em direção a um certo valor observado;
• Uma "aversão" crescente a se afastar demais de um certo valor observado;
• A distribuição de probabilidade que descreve o próximo valor observado pode ficar cada vez mais semelhante a uma certa distribuição.

Alguns padrões teóricos, menos óbvios, podem ser:

• A série formada pelo cálculo do valor esperado da distância entre o valor observado e um valor particular pode convergir a zero;
• A variância da variável aleatória que descreve o seguinte evento fica cada vez menor.

Estes outros tipos de padrões que podem surgir estão refletidos em diferentes tipos de convergência estocástica que têm sido estudados.

Enquanto a discussão acima diz respeito à convergência de uma única série a um valor limitante, a noção de convergência de duas séries uma em direção a outra também é importante. No entanto, é fácil lidar com isto estudando a sequência definida como a diferença ou como a razão das duas séries.

Por exemplo, se a média de $n$ variáveis aleatórias independentes $Y_i$, $i=1,...,n$, todas tendo média e variância iguais e finitas, é dada por

$X_n=\frac{1}{n}\sum _{i=1}^n{Y}_i,$

então conforme $n$ tende ao infinito, $X_n$ converge em probabilidade à média comum $\mu$ das variáveis aleatórias $Y_i$. Este resultado é conhecido como lei fraca dos grandes números. Outras formas de convergência são importantes em outros teoremas úteis, incluindo o teorema central do limite.

Ao longo do que se segue, assume-se que $(X_n)$ é uma sequência de variáveis aleatórias, $X$ é uma variável aleatória e todas elas estão definidas no mesmo espaço de probabilidade $(\mathrm{\Omega },ℱ,P)$.

Convergência em distribuição

Com este modo de convergência, nós esperamos ver o próximo valor observado em uma sequência de experimentos aleatórios cada vez mais bem modelado por uma dada distribuição de probabilidade.

A convergência em distribuição é a forma mais fraca de convergência, já que é implicada por todos os outros tipos de convergência mencionados nesta página. Entretanto, a convergência em distribuição é usada com muita regularidade na prática. Mais frequentemente, ela surge da aplicação do teorema central do limite.

Definição

Uma sequência Predefinição:Math de variáveis aleatórias de valores reais converge em distribuição, converge fracamente ou converge em lei a uma variável aleatória $X$ se

$\underset{n\to \mathrm{\infty }}{\lim }{F}_n(x)=F(x),$

para todo número Predefinição:Math no qual $F$ é contínua. Aqui, Predefinição:Mvar e Predefinição:Mvar são as funções distribuição acumulada das variáveis aleatórias Predefinição:Mvar e Predefinição:Mvar respectivamente.

A exigência de que apenas os pontos de continuidade de Predefinição:Mvar sejam considerados é essencial. Por exemplo, se Predefinição:Mvar for distribuída uniformemente nos intervalos, Predefinição:Math, então, esta sequência converge em distribuição a uma variável aleatória degenerada Predefinição:Math. De fato, Predefinição:Math para todo $n$ quando Predefinição:Math e Predefinição:Math para todo Predefinição:Math quando Predefinição:Math. Entretanto, para esta variável aleatória limitante, Predefinição:Math, ainda que Predefinição:Math para todo $n$. Assim, a convergência das funções distribuição acumulada falha no ponto $x=0$, em que $F$ é descontínua.

A convergência em distribuição pode ser denotada como

$\begin{array}{cc}& X_n\stackrel{d}{\to }X,X_n\stackrel{𝒟}{\to }X,X_n\stackrel{ℒ}{\to }X,X_n\stackrel{d}{\to }{ℒ}_X,\\ & X_n⇝X,X_n\Rightarrow X,ℒ(X_n)\to ℒ(X),\\ \end{array}$

em que ${ℒ}_X$ é a lei (distribuição de probabilidade) de Predefinição:Mvar. Por exemplo, se Predefinição:Mvar tiver distribuição normal padrão, podemos escrever $X_n\stackrel{d}{\to }𝒩(0,1)$.

Para vetores aleatórios Predefinição:Math, a convergência em distribuição é definida de forma semelhante. Dizemos que esta sequência converge em distribuição a um vetor $k$ aleatório $X$ se

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{Pr}(X_n\in A)=\mathrm{Pr}(X\in A)$

para todo Predefinição:Math que for um conjunto continuidade de $X$.

A definição de convergência em distribuição pode ser estendida de vetores aleatórios a elementos aleatórios mais gerais em espaços métricos arbitrários, até mesmo a "variáveis aleatórias" não mensuráveis — uma situação que ocorre, por exemplo, no estudo de processos empíricos. Isto é a convergência fraca de leis sem que leis sejam definidas — exceto assintoticamente.

Neste caso, o termo convergência fraca é preferível e dizemos que uma sequência de elementos aleatórios $\{X_n\}$ converge fracamente a $X$ (denotado como Predefinição:Math) se

${\mathrm{E}}^{*}h(X_n)\to \mathrm{E}h(X)$

para todas as funções contínuas limitadas Predefinição:Mvar. Aqui, ${\mathrm{E}}^{*}$ denota o valor esperado externo, que é o valor esperado da menor função mensurável $g$ que domina Predefinição:Math.

Propriedades

• Já que Predefinição:Math, a convergência em distribuição significa que a probabilidade de que Predefinição:Mvar esteja em um dado intervalo é aproximadamente igual à probabilidade de que o valor de Predefinição:Mvar esteja neste intervalo, sendo $n$ suficientemente grande.
• Em geral, a convergência em distribuição não implica que a sequência de funções densidade de probabilidade correspondentes também convergirá. Como um exemplo, podem-se considerar variáveis aleatórias com densidades Predefinição:Math. Estas variáveis aleatórias convergem em distribuição a uma uniforme $U(0,1)$, enquanto suas densidades não convergem de qualquer forma.
  • Entretanto, o lema de Scheffé implica que a convergência das funções densidade de probabilidade implica convergência em distribuição.
• O lema de Portmanteau oferece várias definições equivalentes de convergência em distribuição. Ainda que estas definições sejam menos intuitivas, elas são usadas para provar uma série de teoremas estatísticos. O teorema afirma que Predefinição:Mathconverge em distribuição a Predefinição:Mvar se e somente só qualquer uma das afirmações seguintes for verdadeira:
  • Predefinição:Math para todas as funções limitadas, contínuas $f$ (em que Predefinição:Math denota o valor esperado);
  • Predefinição:Math para todas as funções limitadas e de Lipschitz ƒ;
  • Predefinição:Math para toda função semicontínua superior $f$ limitada a partir de cima;
  • Predefinição:Math para toda função semicontínua inferior $f$ limitada a partir de baixo;
  • Predefinição:Math para todos os conjuntos fechados Predefinição:Mvar;
  • Predefinição:Math para todos os conjuntos abertos Predefinição:Mvar;
  • Predefinição:Math para todos os conjuntos continuidade Predefinição:Mvar da variável aleatória Predefinição:Mvar.
• O teorema de Mann-Wald afirma que, para uma função contínua $g$, se a sequência Predefinição:Math convergir em distribuição a $X$, então Predefinição:Math converge em distribuição a Predefinição:Math.
  • Entretanto, a convergência em distribuição de Predefinição:Math a $X$ e de Predefinição:Math a Predefinição:Mvar não implica, em geral, a convergência em distribuição dePredefinição:Math a Predefinição:Math ou de Predefinição:Math a Predefinição:Mvar.
• O teorema da continuidade de Lévy afirma que a sequência Predefinição:Math converge em distribuição a Predefinição:Mvar se e somente se a sequência das funções características correspondentes Predefinição:Math convergir pontualmente à função característica Predefinição:Mvar de Predefinição:Mvar.
• A convergência em distribuição é metrizável pela métrica de Lévy-Prokhorov.
• Uma ligação natural à convergência em distribuição é o teorema da representação de Skorokhod.

Convergência em probabilidade

A ideia básica por trás deste tipo de convergência é que a probabilidade de um valor observado "incomum" se torna cada vez menor conforme a sequência progride.

O conceito de convergência em probabilidade é usado muito frequentemente em estatística. Por exemplo, um estimador é considerado consistente se convergir em probabilidade à quantidade sendo estimada. A convergência em probabilidade é também o tipo de convergência estabelecido pela lei fraca dos grandes números.

Definição

Uma sequência $\{X_n\}$ de variáveis aleatórias converge em probabilidade em direção à variável aleatória $X$ se para todo $\epsilon >0$

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{Pr}(|X_n-X|\ge \epsilon )=0.$

Formalmente, considere qualquer $\epsilon >0$ e qualquer $\delta >0$. Considere $P_n$ a probabilidade de que $X_n$ esteja fora de um intervalo de confiança de raio $\epsilon$ e em torno de $X$. Então, para que $X_n$ convirja em probabilidade a $X$, deve existir um número $N$ (que dependerá de $\epsilon$ e $\delta$) tal que, para todo $n\ge N$, $P_n<\delta$.

A convergência em probabilidade $\{X_n\}$ é denotada colocando-se a letra $p$ sobre uma seta indicando convergência ou o operador de limite de probabilidade $\mathrm{p}\mathrm{l}\mathrm{i}\mathrm{m}$:

$X_n\stackrel{p}{\to }X,X_n\stackrel{P}{\to }X,\underset{n\to \mathrm{\infty }}{\mathrm{plim}}{X}_n=X.$

Para elementos aleatórios $\{X_n\}$ em um espaço métrico separável Predefinição:Math, a convergência em probabilidade é definida de forma semelhante por

$\mathrm{\forall }\epsilon >0,\mathrm{Pr}(d(X_n,X)\ge \epsilon )\to 0.$

Propriedades

• A convergência em probabilidade implica convergência em distribuição.
• Na direção oposta, a convergência em distribuição implica a convergência em probabilidade quando a variável aleatória limitante $X$ for uma constante.
• A convergência em probabilidade não implica convergência quase certa.
• O teorema de Mann-Wald afirma que, para toda função contínua $g(\cdot )$, se $X_n\stackrel{p}{\to }X$, então também $g(X_n)\stackrel{p}{\to }g(X)$.
• A convergência em probabilidade define uma topologia no espaço de variáveis aleatórias sobre um espaço de probabilidade fixado. Esta topologia é metrizável pela métrica de Ky Fan:

$d(X,Y)=\inf \{\epsilon >0:\mathrm{Pr}(|X-Y|>\epsilon )\le \epsilon \}$

ou

$d(X,Y)=𝔼[\min (|X-Y|,1)]$.

Convergência quase certa

Este é o tipo de convergência estocástica mais semelhante à convergência pontual conhecida a partir da análise real elementar.

Definição

Dizer que a sequência Predefinição:Mvar converge quase certamente, quase em todo lugar, com probabilidade 1 ou fortemente em direção a $X$ significa que

$\mathrm{Pr}(\underset{n\to \mathrm{\infty }}{\lim }{X}_n=X)=1.$

Isto significa que os valores de Predefinição:Mvar se aproximam do valor de $X$ no sentido de que os eventos para os quais Predefinição:Mvar não converge a $X$ têm probabilidade zero. Usando o espaço de probabilidade $(\mathrm{\Omega },ℱ,\mathrm{Pr})$ e o conceito da variável aleatória como uma função de $\mathrm{\Omega }$ a R, isto equivale à afirmação

$\mathrm{Pr}(\omega \in \mathrm{\Omega }:\underset{n\to \mathrm{\infty }}{\lim }{X}_n(\omega )=X(\omega ))=1.$

Usando a noção do limite inferior de uma sequência de conjuntos, a convergência quase certa pode ser definida como:

$\mathrm{Pr}\left(\underset{n\to \mathrm{\infty }}{\mathrm{lim\; inf}}\right\{\omega \in \mathrm{\Omega }:|X_n(\omega )-X(\omega )|<\epsilon \left\}\right)=1\text{para todo}\epsilon >0.$

A convergência quase certa é frequentemente denotada colocando-se as letras $q.c.$ sobre uma seta indicando convergência,

$X_n\stackrel{\mathrm{q}\mathrm{.}\mathrm{c}\mathrm{.}}{\to }X.$

Para elementos aleatórios genéricos $\{X_n\}$ em um espaço métrico $(S,d)$, a convergência quase certa é definida de forma semelhante:

$\mathrm{Pr}(\omega \in \mathrm{\Omega }:d(X_n(\omega ),X(\omega )\left)\underset{n\to \mathrm{\infty }}{⟶}0\right)=1$

Propriedades

• A convergência quase certa implica convergência em probabilidade pelo lema de Fatou e, por isso, implica convergência em distribuição. É a noção de convergência usada na lei forte dos grandes números.
• O conceito de convergência quase certa não vem de uma topologia sobre o espaço de variáveis aleatórias. Isto significa que não há topologia no espaço de variáveis aleatórias tal que as sequências quase certamente convergentes são exatamente as sequências convergentes em relação àquela topologia. Em particular, não há métrica de convergência quase certa.

Convergência certa

Dizer que a sequência de variáveis aleatórias $X_n$ definida ao longo do mesmo espaço de probabilidade (isto é, um processo aleatório) converge certamente, em todo lugar ou pontualmente a $X$ significa que

$\underset{n\to \mathrm{\infty }}{\lim }{X}_n(\omega )=X(\omega ),\mathrm{\forall }\omega \in \mathrm{\Omega }.$

em que $\mathrm{\Omega }$ é o espaço amostral do espaço de probabilidade subjacente sobre o qual as variáveis aleatórias são definidas.

Esta é a noção de convergência pontual de uma sequência de funções estendida a uma sequência de variáveis aleatórias, lembrando que as variáveis aleatórias são elas mesmas funções.

$\{\omega \in \mathrm{\Omega }|\underset{n\to \mathrm{\infty }}{\lim }{X}_n(\omega )=X(\omega )\}=\mathrm{\Omega }.$

A convergência certa de uma variável aleatória implica todos os outros tipos de convergência descritos acima. A diferença entre a convergência quase certa e a convergência certa está nos conjuntos com probabilidade zero. Por isso, o conceito de convergência certa de variáveis aleatórias é muito raramente usado.

Convergência em média

Dado um número real Predefinição:Math, dizemos que a sequência Predefinição:Mvar converge na $r$-ésima média ou na norma L^r à variável aleatória $X$ se os $r$-ésimos momentos absolutos $\mathrm{E}(|X_n{|}^r)$ e $\mathrm{E}(|X{|}^r)$ de $X_n$ e $X$ existem e

$\underset{n\to \mathrm{\infty }}{\lim }\mathrm{E}(|X_n-X{|}^r)=0,$

em que o operador $\mathrm{E}$ denota o valor esperado. A convergência na $r$-ésima média nos diz que o valor esperado da $r$-ésima potência da diferença entre $X_n$ e $X$ converge a zero.

Este tipo de convergência é frequentemente denotado colocando-se L^r sobre uma seta indicando convergência:

$X_n\stackrel{L^r}{\to }X.$

Os casos mais importantes de convergência na $r$-ésima média são:

• Quando Predefinição:Mvar converge na $r$-ésima média a $X$ para $r=1$, dizemos que Predefinição:Mvar converge em média a $X$.
• Quando Predefinição:Mvar converge na $r$-ésima média a $X$ para $r=2$, dizemos que Predefinição:Mvar converge em média quadrática a $X$.

A convergência na na $r$-ésima média, para $r\ge 1$, implica convergência em probabilidade pela desigualdade de Markov. Além disso, se $r>s\ge 1$, a convergência na $r$-ésima média implica convergência na $s$-ésima média. Assim, a convergência em média quadrática implica a convergência em média.

Vale notar que, se $X_n\stackrel{L^r}{\to }X$, então

$\underset{n\to \mathrm{\infty }}{\lim }E[|X_n{|}^r]=E[|X{|}^r]$

Propriedades

Se o espaço de probabilidade for completo:

• Se $X_n\stackrel{p}{\to }X$ e $X_n\stackrel{p}{\to }Y$, então $X=Y$ quase certamente.
• Se $X_n\stackrel{q.c.}{\to }X$ e $X_n\stackrel{q.c.}{\to }Y$, então $X=Y$ quase certamente.
• Se $X_n\stackrel{L^r}{\to }X$ e $X_n\stackrel{L^r}{\to }Y$, então $X=Y$ quase certamente.
• Se $X_n\stackrel{p}{\to }X$ e $Y_n\stackrel{p}{\to }Y$, então $a{X}_n+b{Y}_n\stackrel{p}{\to }aX+bY$ (para quaisquer números reais $a$ e $b$) e $X_n{Y}_n\stackrel{p}{\to }XY$.
• Se $X_n\stackrel{q.c.}{\to }X$ e $Y_n\stackrel{q.c.}{\to }Y$, então $a{X}_n+b{Y}_n\stackrel{q.c.}{\to }aX+bY$ (para quaisquer números reais $a$ e $b$) e $X_n{Y}_n\stackrel{q.c.}{\to }XY$.
• Se $X_n\stackrel{L^r}{\to }X$ e $Y_n\stackrel{L^r}{\to }Y$, então $a{X}_n+b{Y}_n\stackrel{L^r}{\to }aX+bY$ (para quaisquer números reais $a$ e $b$).
• Nenhuma das afirmações acima é verdadeira para convergência em distribuição.

A cadeia de implicações entre as várias noções de convergências estão notadas em suas respectivas seções. Elas são, usando notação de setas:

$\begin{array}{ccccc}\stackrel{L^s}{\to }& \underset{s>r\ge 1}{\Rightarrow }& \stackrel{L^r}{\to }& & \\ & & \Downarrow & & \\ \stackrel{q.c.}{\to }& \Rightarrow & \stackrel{p}{\to }& \Rightarrow & \stackrel{d}{\to }\end{array}$

Estas propriedades, unidas a uma série de outros casos especiais, estão resumidas na lista abaixo:

• Convergência quase certa implica convergência em probabilidade:

$X_n\stackrel{q.c.}{\to }X\Rightarrow X_n\stackrel{p}{\to }X$

• Convergência em probabilidade implica que existe uma subsequência $(k_n)$ que quase certamente converge:

$X_n\stackrel{p}{\to }X\Rightarrow X_{k_n}\stackrel{a.s.}{\to }X$

• Convergência em probabilidade implica convergência em distribuição:

$X_n\stackrel{p}{\to }X\Rightarrow X_n\stackrel{d}{\to }X$

• Convergência na $r$-ésima média implica convergência em probabilidade:

$X_n\stackrel{L^r}{\to }X\Rightarrow X_n\stackrel{p}{\to }X$

• Convergência na $r$-ésima média implica convergência na média de ordem mais baixa, assumindo que ambas as ordens são maiores ou iguais a um:

$X_n\stackrel{L^r}{\to }X\Rightarrow X_n\stackrel{L^s}{\to }X,$ sendo $r>s\ge 1$.

• Se $X_n$ convergir em distribuição a uma constante $c$, então $X_n$ converge em probabilidade a $c$:

$X_n\stackrel{d}{\to }c\Rightarrow X_n\stackrel{p}{\to }c,$ sendo $c$ uma constante.

• Se Predefinição:Mvar convergir em distribuição a $X$ e a diferença entre $X_n$ e $Y_n$ converge em probabilidade a zero, então $Y_n$ também converge em distribuição a $X$:

$X_n\stackrel{d}{\to }X,|X_n-Y_n|\stackrel{p}{\to }0\Rightarrow Y_n\stackrel{d}{\to }X$

• Se $X_n$ convergir em distribuição a $X$ e $Y_n$ convergir em distribuição a uma constante $c$, então o vetor conjunto $(X_n,Y_n)$ converge em distribuição a $(X,c)$:

$X_n\stackrel{d}{\to }X,Y_n\stackrel{d}{\to }c\Rightarrow (X_n,Y_n)\stackrel{d}{\to }(X,c)$ sendo $c$ uma constante.

A condição de que Predefinição:Mvar convirja a uma constante é importante. Se convergisse a uma variável aleatória $Y$, então não se poderia concluir que $(X_n,Y_n)$ converge a $(X,Y)$.

• Se $X_n$ convergir em probabilidade a $X$ e $Y_n$ convergir em probabilidade a $Y$, então o vetor conjunto $(X_n,Y_n)$ converge em probabilidade a $(X,Y)$:

$X_n\stackrel{p}{\to }X,Y_n\stackrel{p}{\to }Y\Rightarrow (X_n,Y_n)\stackrel{p}{\to }(X,Y)$

• Se Predefinição:Mvar convergir em probabilidade a $X$ e Predefinição:Math para todo $n$ e algum $b$, então Predefinição:Mvar converge na $r$-ésima média a $X$ para todo Predefinição:Math. Em outras palavras, se Predefinição:Mvar convergir em probabilidade a $X$ e todas as variáveis aleatórias Predefinição:Mvar forem quase certamente limitadas acima e abaixo, então Predefinição:Mvar converge a $X$ também em qualquer $r$-ésima média.
• Geralmente, convergência em distribuição não implica convergência quase certa. Entretanto, para uma dada sequência $\{X_n\}$ que converge em distribuição a $X_0$, é sempre possível encontrar um novo espaço de probabilidade $(\mathrm{\Omega },ℱ,P)$ e variáveis aleatórias $\{Y_n,n=0,1,...\}$ definidas neste espaço tal que $Y_n$ seja igual em distribuição Predefinição:Mvar para todo $n\ge 0$ e $Y_n$ convirja a $Y_0$ quase certamente.
• Se para todo $\epsilon >0$

$\sum _n\mathbb{P}(|X_n-X|>\epsilon )<\mathrm{\infty },$

então dizemos que Predefinição:Mvar converge quase completamente ou quase em probabilidade em direção a $X$. Quando $X_n$ converge quase completamente em direção a $X$, então também converge quase certamente a $X$. Em outras palavras, se Predefinição:Mvar convergir em probabilidade a $X$ de forma suficientemente rápida, isto é, se a sequência acima das probabilidades de cauda for somável para todo Predefinição:Math, então, Predefinição:Mvar converge quase certamente a $X$. Esta é uma implicação direta do lema de Borel-Cantelli.

• Se Predefinição:Mvar for uma soma de $n$ variáveis aleatórias independentes reais:

$S_n=X_1+\cdots +X_n$

então Predefinição:Mvar converge quase certamente se e somente se Predefinição:Mvar convergir em probabilidade.

• O teorema da convergência dominada dá condições suficientes para que a convergência quase certa implique convergência $L^1$

$\begin{array}{c}{X}_n\stackrel{a.s.}{\to }X\\ |X_n|<Y\\ \mathrm{E}(Y)<\mathrm{\infty }\end{array}\}\Rightarrow X_n\stackrel{L^1}{\to }X$

• Uma condição necessária e suficiente para a convergência $L^1$ é que $X_n\stackrel{P}{\to }X$ e a sequência $(X_n)$ seja uniformemente integrável.