Mostrar código-fonte de Informação mútua

[[Imagem:Entropy-mutual-information-relative-entropy-relation-diagram.svg|thumb|256px|right|
Diagrama mostrando as relações aditivas e subtrativas de várias medidas de informação associadas com as variaveis correlacionadas ''X'' e ''Y''. A área contida pelos dois círculos é a entropia conjunta Η(''X'',''Y''). O círculo na esquerda (vermelho e violeta) é a entropia individual H(''X''), sendo o círculo vermelho a entropia condicional Η(''X''&#124;''Y''). O círculo na direita (azul e violeta) é H(''Y''), sendo o azul Η(''Y''&#124;''X''). O círculo violeta é a informação mútua ''I''(''X'';''Y'')]]

Em [[teoria das probabilidades]] e [[teoria da informação]], a '''informação mútua''' (em inglês '''MI''' de ''[[:en:Mutual information]]'') de duas variáveis aleatórias é a medida da dependência mútua entre as duas variáveis. Mais especificamente, a '''informação mútua''' quantifica a informação (em unidades como shannons, mais conhecidos como bits) que uma variável aleatória contém acerca da outra. O conceito de informação mútua esta intrinsicamente ligado ao da [[Entropia da informação|entropia]] de uma variável aleatória, uma noção fundamental da teoria da informação, que define a "quantidade de informação" contida em uma variável aleatória.

Não sendo limitado a variáveis aleatória com valores reais como o coeficiente de correlação, a MI é mais genérica e determina quão similar a distribuição conjunta ''p''(''X'',''Y'') é à dos produtos das distribuições marginais ''p''(''X'')''p''(''Y''). MI é o valor esperado da ''pointwise mutual information'' (PMI).

== Definição ==

Formalmente a informação mútua<ref>{{citar livro|último1 =Cover|primeiro1 =T.M.|último2 =Thomas|primeiro2 =J.A.|título=Elements of Information Theory|data=1991|isbn=978-0-471-24195-9|edição=Wiley}}</ref> de duas variáveis aleatórias discretas, ''X'' e ''Y'' pode ser definida como:
:<math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X}
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) },
</math>

onde ''p''(''x'',''y'') é a [[distribuição de probabilidade conjunta]] de ''X'' e ''Y'', e <math>p(x)</math> e <math>p(y)</math> são funções de probabilidade de [[distribuição marginal]] de ''X'' e ''Y'', respectivamente.
No caso de [[Variável_aleatória#Variável_aleatória_contínua|variáveis aleatórias contínuas]], a somatória é substituída por uma [[integral dupla]] definida:
:<math> I(X;Y) = \int_Y \int_X
                 p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)}
                              \right) } \; dx \,dy,
</math>

onde ''p''(''x'',''y'') é agora a função de densidade de probabilidade conjunta de ''X'' e ''Y'', ''p''(''x'') e ''p''(''y'') são funções de densidade de probabilidade marginal de ''X'' e ''Y'', respectivamente.

Usando o [[logaritmo]] de base 2, a unidade da informação mútua será [[bit]]s.

== Motivação ==
Intuitivamente, a informação mútua mede a informação compartilhada entre ''X'' e ''Y'': ela mede quanto o conhecimento de uma destas variáveis reduz a incerteza sobre a outra. Por exemplo, se ''X'' e ''Y'' são independentes, então conhecer ''X'' não fornece nenhuma informação sobre ''Y'' e vice versa, então a informação mútua delas será zero. No outro extremo, se ''X'' for uma função determinística de ''Y'' e ''Y'' for uma função determinística de ''X'' então toda a informação contida em ''X'' é compartilhada por ''Y'': conhecer ''X'' determina o valor de ''Y'' e vice versa. Como resultado, neste caso a informação mútua é o mesmo que a incerteza contida em ''Y'' (ou ''X'') sozinha, chamada de [[entropia]] de ''Y'' (ou ''X''). Além disto, esta informação mútua é a mesma que a entropia de ''X'' e também que a entropia de ''Y''. (Um caso bem especial disto é quando ''X'' e ''Y'' são a mesma variável aleatória.)

Informação mútua é uma medida da dependência inerente expressada pela [[distribuição de probabilidade conjunta]] de ''X'' e ''Y'' relativas à distribuição conjuntas de ''X'' e ''Y'' assumindo que sejam independentes.
Informação mútua portanto mede a dependência no sentido que: ''I''(''X''; ''Y'') = 0 [[se e somente se]] ''X'' e ''Y'' são variáveis aleatórias independentes. Isto é fácil de ver num dos sentidos: se ''X'' e ''Y'' são independentes, então ''p''(''x'',''y'') = ''p''(''x'')''p''(''y''), e portanto:

:<math> \log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0 .</math>

Além disto, a informação mútua é não-negativa (i.e. ''I''(''X'';''Y'')&nbsp;≥&nbsp;0; veja abaixo) e uma [[função simétrica]] (i.e. ''I''(''X'';''Y'') = ''I''(''Y'';''X'')).

== Propriedades ==
• <math>I(X;Y) \geq 0</math>;

• <math>I(X;Y) = 0</math> se, e somente se, X e Y forem variáveis aleatórias independentes;

• <math>I(X;Y) = I(Y;X)</math>

Dada a forte relação entre Informação Mútua e Entropia, temos os seguintes corolários:

• <math>0 \leq H(X|Y) \leq H(X)</math>, <math>0 \leq H(Y|X) \leq H(Y)</math>;

• <math>H(X,Y) \leq H(X) + H(Y)</math>


== Relação com outras quantidades ==

=== Não-negatividade ===
Usando a [[desigualdade de Jensen]] na definição da informação mútua podemos mostrar que ''I''(''X'';''Y'') é não-negativa, i.e.
:<math>I(X;Y) \ge 0</math>

=== Relação com a entropia condicional e conjunta ===
Informação mútua pode ser expressada equivalentemente como

:<math>\begin{align}
  I(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\
         &{} \equiv \Eta(Y) - \Eta(Y|X) \\
         &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\
         &{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X)
\end{align}</math>

onde <math>\Eta(X)</math> e <math>\Eta(Y)</math> são [[entropia]]s marginais, Η(''X''|''Y'') e Η(''Y''|''X'') são as [[Teoria_da_informação#Entropia_condicional|entropias condicionais]], e Η(''X'',''Y'') é a [[Teoria_da_informação#Entropia_da_distribuição_conjunta|entropia conjunta]] de ''X'' e ''Y''. Note a analogia da união, diferença e intersecção de dois conjuntos, conforme ilustrado no diagrama de Venn. Em termos de canais de comunicação nos quais a saída <math>Y</math> é uma versão ruídosa da entrada <math>X</math>, essas relações estão resumidas na figura abaixo.

[[Imagem:Figchannel2017ab.svg|thumb|Relações entre as quantidades da teoria da informação]]

Como ''I''(''X'';''Y'') é não-negativa, consequentemente, <math>\Eta(X) \ge \Eta(X|Y)</math>. Aqui temos a dedução detalhada de ''I''(''X'';''Y'') = Η(''Y'') – Η(''Y''|''X''):

:<math>
\begin{align}
I(X;Y) & {} = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}\\
& {} = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)} - \sum_{x,y} p(x,y) \log p(y)  \\

& {} = \sum_{x,y} p(x)p(y|x) \log p(y|x) - \sum_{x,y} \log p(y) p(x,y) \\
& {} = \sum_x p(x) \left(\sum_y p(y|x) \log p(y|x)\right) - \sum_y \log p(y) \left(\sum_x p(x,y)\right) \\

& {} = -\sum_x p(x) \Eta(Y|X=x) - \sum_y p(y) \log p(y) \\
& {} = -\Eta(Y|X) + \Eta(Y)  \\
& {} = \Eta(Y) - \Eta(Y|X).  \\
\end{align}
</math>
As provas das outras identidades acima são similares.

Intuitivamente, se a entropia H(''Y'') é considerada como uma medida da incerteza sobre uma variável aleatória, então H(''Y''|''X'') é uma medida do quanto ''X'' não diz sobre ''Y''. Isto é "a quantidade de incerteza restando sobre ''Y'' depois que ''X'' é conhecido", e então o lado direito da primeira dessas igualdades pode ser lido como "a quantidade de incerteza em ''Y'', menos a quantidade de incerteza em ''Y'' que sobra após ''X'' ser conhecido", que é equivalente à "quantidade de incerteza em ''Y'' que é removida por conhecer ''X''". O que corrobora o sentido intuitivo da informação mútua como a quantidade de informação (ou seja, redução da incerteza) que conhecer qualquer variável produz sobre a outra.

Note que no caso discreto H(''X''|''X'') = 0 e portanto Η(''X'') = ''I''(''X'';''X''). Então, ''I''(''X'';''X'') ≥ ''I''(''X'';''Y''), e pode-se formular o princípio básico que uma variável contém pelo menos tanta informação sobre si mesma quanto qualquer outra variável pode fornecer.

=== Relação com a divergência de Kullback-Leibler ===
Informação mútua também pode ser expressa como uma [[Distribuição_normal#Distancia_entre_distribuições|divergência de Kullback-Leibler]] do produto das [[Distribuição_marginal|distribuições marginais]], ''p''(''x'') x ''p''(''y''), de duas variável aleatórias ''X'' e ''Y'', e da [[Distribuição_de_probabilidade_conjunta|distribuição conjunta]] ''p''(''x'',''y'') das variáveis:

:<math> I(X;Y) = D_{\mathrm{KL}}(p(x,y)\|p(x)p(y)). </math>

Além disso, faça ''p''(''x''|''y'') = ''p''(''x'', ''y'') / ''p''(''y'').  Então

:<math>
\begin{align}
I(X;Y) & {} = \sum_y p(y) \sum_x p(x|y) \log_2 \frac{p(x|y)}{p(x)} \\
& {} =  \sum_y p(y) \; D_{\mathrm{KL}}(p(x|y)\|p(x)) \\
& {} = \mathbb{E}_Y\{D_{\mathrm{KL}}(p(x|y)\|p(x))\}.
\end{align}
</math>

Note-se aqui que a divergência de Kullback-Leibler envolve a integração a respeito apenas da variável aleatória ''X'' e que a expressão <math>D_{\mathrm{KL}}(p(x|y)\|p(x))</math> é agora uma variável aleatória em ''Y''. Então a informação mútua pode ser entendida como o [[valor esperado]] da divergência de Kullback-Leibler da [[Distribuição_marginal|distribuição univariável]] ''p''(''x'') de ''X'' da [[Distribuição_de_probabilidade_condicional|distribuição condicional]] ''p''(''x''|''y'') de ''X'' dado ''Y'': quanto mais diferentes são as distribuições ''p''(''x''|''y'') e ''p''(''x'') na média, maior é a divergência de Kullback-Leibler.

=== Estimativa bayesiana da informação mútua ===
É fazer a estimativa bayesiana da informação mútua de uma distribuição conjunta baseada em amostras da distribuição. O primeiro trabalho a fazer isto, que também demonstrou como fazer uma estimativa Bayesiana de muitas outras informações teóricas além da informação mútua, foi.<ref>{{citar periódico|último1 = Wolpert |primeiro1 = D.H. |último2 = Wolf |primeiro2 = D.R. |ano= 1995 |título= Estimating functions of probability distributions from a finite set of samples |periódico= Physical Review E }}</ref> Pesquisadores subsequentes rederivaram<ref>{{citar periódico|último1 = Hutter |primeiro1 = M. |ano= 2001 |título= Distribution of Mutual Information |periódico= Advances in Neural Information Processing Systems 2001 }}</ref>
e estenderam<ref>{{citar periódico|último1 = Archer |primeiro1 = E. |último2 = Park |primeiro2 = I.M. |último3 = Pillow |primeiro3 = J. |ano= 2013 |título= Bayesian and Quasi-Bayesian Estimators for Mutual Information from Discrete Data |periódico= Entropy}}</ref>
esta análise. Veja<ref>{{citar periódico|último1 = Wolpert |primeiro1 = D.H |último2 = DeDeo |primeiro2 = S. |ano= 2013 |título= Estimating Functions of Distributions Defined over Spaces of Unknown Size |periódico= Entropy }}</ref> para um artigo recente baseado em anteriores especialmente personalizados para a estimação da informação mútua em específico.

== Variações ==
Diversas variações da informação mútua foram propostas para acomodar necessidades diversas. Entre essas existem variantes normalizadas e generalizações para mais do que duas variáveis.

=== Métrica ===
Muitas aplicações requerem uma [[Métrica_(matemática)|métrica]], ou seja, uma medida de distância entre pares de pontos. A quantidade

:<math>
\begin{align}
d(X,Y) &= \Eta(X,Y) - I(X;Y) \\
       &= \Eta(X) + \Eta(Y) - 2I(X;Y) \\
       &= \Eta(X|Y) + \Eta(Y|X)
\end{align}
</math>

satisfaz as propriedades de uma métrica ([[desigualdade triangular]], [[Função_linear_positiva|não negatividade]], [[Indiscerníveis|indiscernibilidade]] e [[Função_simétrica|simetria]]). Esta métrica de distância é também conhecida como [[variação da informação]].

Se <math>X, Y</math> são variáveis aleatórias discretas então todos os termos de entropia são não-negativos, assim <math>0 \le d(X,Y) \le \Eta(X,Y)</math> e pode-se definir uma distância normalizada

:<math>D(X,Y) = d(X,Y)/\Eta(X,Y) \le 1.</math>

A métrica ''D'' é uma métrica universal, no sentido de que se qualquer outra medida de distância colocar ''X'' e ''Y'' próximos, então ''D'' também irá julgá-los próximos.<ref>{{citar arXiv|eprint=q-bio/0311039|último1 =Kraskov|primeiro1 =Alexander|título=Hierarchical Clustering Based on Mutual Information|último2 =Stögbauer|primeiro2 =Harald|último3 = Andrzejak|primeiro3 =Ralph G.|último4 =Grassberger|primeiro4 =Peter|ano=2003}}</ref>

Colocando as definições, demonstra-se que

:<math>D(X,Y) = 1 - I(X;Y)/\Eta(X,Y).</math>

Numa interpretação da informação na [[teoria dos conjuntos]] (veja o diagrama de Venn nesta páginas), esta é efetivamente a [[Centralidade#Centralidades_Baseadas_na_Dissimilaridades|distância de Jaccard]] entre ''X'' e ''Y''.

Finalmente,

:<math>D^\prime(X,Y)=1-\frac{I(X;Y)}{\max(\Eta(X),\Eta(Y))}</math>

também é uma métrica.

=== Informação mútua condicional ===
Às vezes é útil expressar a informação mútua de duas variáveis aleatórias condicionadas por uma terceira.
:<math>
\begin{align}
& {} I(X;Y|Z) = \mathbb E_Z \big(I(X;Y)|Z\big)
    = \\
& {} \sum_{z\in Z} \sum_{y\in Y} \sum_{x\in X}
      p_Z(z) p_{X,Y|Z}(x,y|z) \log \frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)},
\end{align}
</math>
que pode ser simplificado como
:<math>
\begin{align}
& {} I(X;Y|Z) = \\
& {} \sum_{z\in Z} \sum_{y\in Y} \sum_{x\in X}
      p_{X,Y,Z}(x,y,z) \log \frac{p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}.
\end{align}
</math>
Condicionar numa terceira variável aleatória pode também aumentar ou diminuir a informação mútua, mas é sempre verdadeiro que
:<math>I(X;Y|Z) \ge 0</math>
para variáveis aleatórias discretas ''X'', ''Y'' e ''Z'' distribuídas conjuntamente. Este resultado pode ser usado como um base de construção para fornecer outras desigualdades na teoria da informação.

=== Informação mútua de multivariáveis ===
Diversas generalizações da informação mútua para mais do que duas variáveis aleatórias foram propostas, tais como [[:en:total correlation]] e [[:en:interaction information]]. Se a entropia de Shannon é vista como uma [[:en:signed measure]] no contexto de [[diagramas de informação]], como explicado no artigo ''[[:en:Information theory and measure theory]]'', então a única definição de informação mútua multivariável que faz sentido é o seguinte:
:<math>I(X_1;X_1) = \Eta(X_1)</math>
e para <math>n > 1,</math>
:<math>I(X_1;\,...\,;X_n) = I(X_1;\,...\,;X_{n-1}) - I(X_1;\,...\,;X_{n-1}|X_n),</math>
onde (como acima) definimos
:<math>I(X_1;\,...\,;X_{n-1}|X_n) = \mathbb E_{X_n} \big(I(X_1;\,...\,;X_{n-1})|X_n\big).</math>
(Esta definição de informação mútua multivariável é idêntica a da [[:en:interaction information]] com exceção de uma mudança de sinais quando o número de variáveis aleatórias é ímpar.)

==== Aplicações ====
A aplicação cega de diagramas de informação para desenvolver a definição acima foi criticada e realmente encontrou-se aplicações práticas limitadas já que é dificil de visualizar ou perceber o significado desta quantidade para um número grande de variáveis aleatórias. Ele pode ser zero, positivo ou negativo para qualquer número ímpar de variáveis <math>n \ge 3.</math>

Um modelo generalizado de grandes dimensões que maximiza a informação mútua entre distribuições conjuntas e outras variáveis encontrou-se útil em seleção de atributos para aprendizado de máquinas.<ref>{{citar livro
  |autor1 =Christopher D. Manning |autor2 =Prabhakar Raghavan |autor3 =Hinrich Schütze |título= An Introduction to Information Retrieval
  |publicado= [[Cambridge University Press]]
  |ano= 2008
  | isbn = 0-521-86571-9 }}</ref>

Informação mútua também é utilizada na área de processamento de sinais como uma [[medida de similaridade]] entre dois sinais. Por exemplo a métrica FMI<ref>{{citar periódico|último1 = Haghighat |primeiro1 = M. B. A. |último2 = Aghagolzadeh |primeiro2 = A. |último3 = Seyedarabi |primeiro3 = H. |ano= 2011 |título= A non-reference image fusion metric based on mutual information of image features | doi = 10.1016/j.compeleceng.2011.07.012 |periódico= Computers & Electrical Engineering | volume = 37 |número= 5|páginas= 744–756 }}</ref> que é uma medida da performance de fusão de imagens utilizando a informação mútua para medir a quantidade de informação que a imagem fundida contém das imagens originais. O código [[MATLAB]] para esta métrica pode ser encontrado em.<ref>{{citar web|url=http://www.mathworks.com/matlabcentral/fileexchange/45926-feature-mutual-information-fmi-image-fusion-metric|título=Feature Mutual Information (FMI) metric for non-reference image fusion - File Exchange - MATLAB Central|autor =|data=|website=www.mathworks.com|acessodata=31 de Maio de 2018}}</ref>

=== Informação direcionada ===
Informação direcionada, <math>I(X^n\to Y^n) </math>, mede a quantidade de informação que flui do processo <math>X^n</math> para <math>Y^n</math>, onde <math>X^n</math> denota o vetor <math>X_1,X_2,...,X_n</math> e <math>Y^n</math> denota <math>Y_1,Y_2,...,Y_n</math>. O termo "informação direcionada" foi criado por [[:en:James Massey]] e é definido como
:<math>I(X^n\to Y^n) =\sum_{i=1}^n I(X^i;Y_i|Y^{i-1})</math>.
Note que se ''n'' = 1, a informação direcionada se torna a informação mútua.
Informação direcionada tem muitas aplicações em problemas onde a casualidade tem um papel importante, como a capacidade de um canal com retroalimentação.<ref>{{citar periódico|último1 =Massey|primeiro1 =James|título=Causality, Feedback And Directed Informatio|data=1990|número=ISITA|url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.36.5688&rep=rep1&type=pdf}}</ref><ref>{{citar periódico|último1 =Permuter|primeiro1 =Haim Henry|último2 =Weissman|primeiro2 =Tsachy|último3 =Goldsmith|primeiro3 =Andrea J.|título=Finite State Channels With Time-Invariant Deterministic Feedback|periódico=IEEE Transactions on Information Theory|data=Fevereiro de 2009|volume=55|número=2|páginas=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070}}</ref>

=== Variantes Normalizadas ===
Variantes normalizadas da informação mútua são fornecidas pelos ''coeficientes de restrição'',{{sfn|Coombs|Dawes|Tversky|1970}} [[coeficientes de incerteza]]<ref name=pressflannery>{{citar livro|último1 =Press |primeiro1 =WH |último2 =Teukolsky |primeiro2 =SA |último3 =Vetterling |primeiro3 =WT |último4 =Flannery |primeiro4 =BP |ano=2007 |título=Numerical Recipes: The Art of Scientific Computing |edição=3rd |publicado=Cambridge University Press |local-publicação=New York | isbn=978-0-521-88068-8 |capítulo=Section 14.7.3. Conditional Entropy and Mutual Information |capítulourl=http://apps.nrbook.com/empanel/index.html#pg=758 | ref=harv }}</ref>
ou proficiência:<ref name=JimWhite>{{citar periódico
 |último1 = White |primeiro1 = Jim |último2 = Steingold |primeiro2 =Sam |último3 = Fournelle |primeiro3 =Connie
 |título= Performance Metrics for Group-Detection Algorithms
 |conferencia= Interface 2004
 | url = http://www.interfacesymposia.org/I04/I2004Proceedings/WhiteJim/WhiteJim.paper.pdf
}}</ref>

:<math>
C_{XY}=\frac{I(X;Y)}{\Eta(Y)} ~~~~\mbox{and}~~~~ C_{YX}=\frac{I(X;Y)}{\Eta(X)}.
</math>

Os dois coeficientes não são necessariamente iguais. Em alguns casos uma medida de simetria pode ser desejada, como a medida de redundância a seguir:

:<math>R= \frac{I(X;Y)}{\Eta(X)+\Eta(Y)}</math>

que atinge o mínimo de zero quando as variáveis são independentes e um valor máximo de

:<math>R_{\max }=\frac{\min (\Eta(X),\Eta(Y))}{\Eta(X)+\Eta(Y)} </math>

quando uma das variáveis se torna completamente redundante com o conhecimento da outra. Ver também ''[[:en:Redundancy (information theory)]]''. Outra medida simétrica é a ''incerteza simétrica'' {{harv|Witten|Frank|2005}}, dada por

:<math>U(X,Y) = 2R = 2\frac{I(X;Y)}{\Eta(X)+\Eta(Y)}</math>

que representa a [[média harmônica]] de dois coeficientes de incerteza <math>C_{XY}, C_{YX}</math>.<ref name=pressflannery />

Se considerarmos a informação mútua como um caso especial da [[correlação total]] ou [[correlação total dupla]], as versões normalizadas são respetivamente
:<math>\frac{I(X;Y)}{\min\left[ \Eta(X),\Eta(Y)\right]}</math> e <math>\frac{I(X;Y)}{\Eta(X,Y)} \; .</math>
Esta versão normalizada também conhecida como '''relação qualidade informação''' (em inglês '''Information Quality Ratio''' ou IQR) que quantifica a porção de informação de uma variável baseada em outra variável contra a incerteza total:<ref name=DRWijaya>{{citar periódico
 |último1 = Wijaya |primeiro1 = Dedy Rahman |último2 = Sarno|primeiro2 =Riyanarto|último3 = Zulaika |primeiro3 =Enny
 |título= Information Quality Ratio as a novel metric for mother wavelet selection
 |periódico= Chemometrics and Intelligent Laboratory Systems
 | volume = 160
 |páginas= 59–71
 | url = http://www.sciencedirect.com/science/article/pii/S0169743916304907
 | doi = 10.1016/j.chemolab.2016.11.012
}}</ref>

:<math>IQR(X,Y) = E[I(X;Y)] =\frac{I(X;Y)}{\Eta(X,Y)} = \frac{\sum_{x \in X} \sum_{y \in Y} p(x,y) \log {p(x)p(y)}}{\sum_{x \in X} \sum_{y \in Y} p(x,y) \log {p(x,y)}}-1 </math>

Existe uma normalização<ref name="strehl-jmlr02">{{Citation
 |título= Cluster Ensembles – A Knowledge Reuse Framework for Combining Multiple Partitions
 |periódico= The Journal of Machine Learning Research
 |páginas= 583–617 | volume = 3 |número= Dec |ano= 2002
 |último1 = Strehl |primeiro1 = Alexander |último2 = Ghosh |primeiro2 = Joydeep
 | url=http://www.jmlr.org/papers/volume3/strehl02a/strehl02a.pdf}}</ref> que deriva da primeira noção de informação mútua como análoga à [[covariância]] (então a [[entropia da informação]] é análoga à [[variância]]). Assim, a informação mútua normalizada é calculada de forma semelhante ao [[coeficiente de correlação de Pearson]],
:<math>
\frac{I(X;Y)}{\sqrt{\Eta(X)\Eta(Y)}}\; .
</math>

=== Variantes ponderadas ===
Variantes ponderadas ou pesadas são a fórmula tradicional da informação mútua,

:<math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X} p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)}, </math>

onde cada ''evento'' ou ''objeto'' especificado por <math>(x,y)</math> é ponderado por uma probabilidade correspondente <math>p(x,y)</math>. Isto assume que todos os objetos ou eventos são equivalentes afora sua probabilidade de ocorrência. Entretanto, em algumas aplicações pode ocorrer de certos objetos ou eventos serem mais ''significativos'' que outros, ou que certos padrões de associação serem mais importantes semanticamente do que outros.

Por exemplo, o mapa determinístico <math>\{(1,1),(2,2),(3,3)\}</math> pode ser visto como mais forte do que o mapa determinístico <math>\{(1,3),(2,1),(3,2)\}</math>, embora essas relações possam produzir a mesma informação mútua. Isto é pela informação mútua não ser nem um pouco sensitiva à qualquer ordem inerente aos valores das variáveis ({{harvnb|Cronbach|1954}}, {{harvnb|Coombs|Dawes|Tversky|1970}}, {{harvnb|Lockhead|1970}}), e não ser portanto nada sensitiva à '''forma''' do mapa relacional das variáveis associadas. Se for desejado que o primeiro mapa determinístico-mostrando uma concordância de todos os valores das variáveis-seja jugado mais forte que o último mapa, então é possível usar a seguinte ''informação mútua ponderada'' {{harv|Guiasu|1977}}.

:<math> I(X;Y) = \sum_{y \in Y} \sum_{x \in X} w(x,y) p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)}, </math>

que coloca um peso <math>w(x,y)</math> na probabilidade de co-ocorrência de cada valor das variáveis, <math>p(x,y)</math>. Isto permite que certas probabilidade carreguem maior ou menor significância do que outras, assim permitindo a quantificação da relevância de fatores ''holisticos'' ou ''de Prägnanz''. No exemplo acima, usar pesos relativamente maiores para <math>w(1,1)</math>, <math>w(2,2)</math>, e <math>w(3,3)</math> teria o mesmo efeito que assegurar um fator de informação informação maior para a relação <math>\{(1,1),(2,2),(3,3)\}</math> do que para a relação <math>\{(1,3),(2,1),(3,2)\}</math>, o que pode ser desejável em alguns casos como [[reconhecimento de padrões]] e afins. Esta informação mútua ponderada é uma forma da divergência KL ponderada, que é conhecida por levar valores negativas para algumas entradas<ref name="weighted-kl">{{citar periódico|último1 = Kvålseth |primeiro1 = T. O. |ano= 1991 |título= The relative useful information measure: some comments | url = |periódico= Information sciences | volume = 56 |número= 1|páginas= 35–38 | doi=10.1016/0020-0255(91)90022-m}}</ref> assim como existem exemplos da informação mútua ponderada também receber valores negativos.<ref>{{Citation
  |título=Feature Selection Via Joint Likelihood
  |primeiro =Adam |último =Pocock
  |ano=2012
  |url=http://www.cs.man.ac.uk/~gbrown/publications/pocockPhDthesis.pdf
}}</ref>

=== Informação Mútua ajustada ===
Uma distribuição de probabilidades pode ser vista como uma [[partição de um conjunto]], pode-se então perguntar: se um conjunto for particionado aleatoriamente, qual seria a distribuição de probabilidades? Qual seria o valor esperado da informação mútua? A informação mútua ajustada (em inglês {{:en:adjusted mutual information}} ou AMI) subtrai o valor esperado da MI (informação mútua) tal que a AMI seja zero quando duas distribuições diferentes forem aleatórias, e um quando duas distribuições são idênticas. A AMI é definida em analogia ao ''índice de Rand ajustado'' de duas partições diferentes de um conjunto.

=== Informação mútua absoluta ===
Usando ideias da [[complexidade de Kolmogorov]], pode-se considerar a informação mútua de duas sequências independentes de qualquer distribuição de probabilidade:

:<math>
I_K(X;Y) = K(X) - K(X|Y).
</math>

Para estabelecer que esta quantidade é simétrica à um fator logarítmico (<math>I_K(X;Y) \approx I_K(Y;X)</math>) precisamos da [[regra da cadeia]] da complexidade de Kolmogorov {{Harvard citation|Li|Vitányi|1997}}.
Aproximações dessa quantidade por [[Compressão de dados]] podem ser usadas para definir uma [[Métrica_(matemática)|métrica de distância]] para efetuar o [[agrupamento hierárquico]] das sequências sem tem qualquer conhecimento no domínio das sequências {{Harvard citation|Cilibrasi|Vitányi|2005}}.

=== Correlação linear ===

Ao contrário dos coeficientes de correlação, como o [[Coeficiente de correlação de Pearson]], a informação mútua contém informações sobre toda a dependência, linear e não-linear, e não apenas da dependência linear. Entretanto, no caso restrito em que a distribuição conjunta para ''X'' e ''Y'' seja uma [[Distribuição_normal#Distribuições_multidimensionais|distribuição normal bivariada]] (implicando em particular que ambas distribuições marginais sejam normalmente distribuídas), existe uma relação exata entre ''I'' e o coeficiente de correlação <math>\rho</math> {{harv|Gel'fand|Yaglom|1957}}.
:<math>
  I = -\frac{1}{2} \log\left(1 - \rho^2\right)
</math>

A equação acima pode ser desenvolvida como abaixo para uma gaussiana bivariada:

:<math>\begin{align}
\begin{pmatrix}
 X_1 \\
 X_2
\end{pmatrix}  &\sim \mathcal{N} \left( \begin{pmatrix}
 \mu_1 \\
 \mu_2
\end{pmatrix},  \Sigma \right) ,\quad \Sigma = \begin{pmatrix}
 \sigma^2_1 &  \rho \sigma_1 \sigma_2 \\
 \rho \sigma_1 \sigma_2 &  \sigma^2_2
\end{pmatrix} \\

  \Eta(X_i) &= \frac{1}{2}\log\left(2\pi e \sigma_{i}^2\right) = \frac{1}{2} + \frac{1}{2}\log(2\pi) + \log(\sigma_{i}), \quad i\in\{1,2\} \\
  \Eta(X_1,X_2) &= \frac{1}{2}\log\left[(2\pi e)^2|\Sigma|\right] = 1 + \log(2\pi) + \log(\sigma_{1} \sigma_{2}) + \frac{1}{2}\log(1 - \rho^2) \\
\end{align}</math>

Portanto,

:<math>
  I(X_1;X_2) = \Eta(X_1) + \Eta(X_2) - \Eta(X_1,X_2) = -\frac{1}{2}\log\left(1 - \rho^2\right)
</math>

=== Para dados discretos ===
Quando ''X'' e ''Y'' são limitados em um número discreto de estados, os dados observados são resumidos em uma [[tabela de contingência]], com a variável ''X'' (ou ''i'') nas linhas e a variável ''Y'' (ou ''j'') nas colunas. A informação mútua é uma das medidas de [[associatividade]] ou [[Correlação#Dependência|correlação]] entre as variáveis das linhas e colunas. Outra medida de associação inclui o [[teste qui-quadrado de Pearson]],
o teste G estatístico, etc. De fato, a informação mútua é igual ao teste G estatístico dividido por 2''N'', onde ''N'' é o tamanho da amostra.

== Aplicações ==
Em muitas aplicações se quer maximizar a informação mútua (assim aumentando a dependência), o que é muitas vezes equivalente a minimizar a [[Teoria_da_informação#Entropia_condicional|entropia condicional]]. Exemplos incluem:

* Em tecnologias de [[Motor de busca|Motores de busca]], a informação mútua entre frases e contextos é usada como um atributo para agrupamento ou clustering por [[K-means]] descrobrindo grupos semânticos (conceituais).<ref name=magerman>[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.78.4178&rep=rep1&type=pdf Parsing a Natural Language Using Mutual Information Statistics] by David M. Magerman and Mitchell P. Marcus</ref>
* Em [[telecomunicações]], a [[Capacidade_de_um_canal|capacidade do canal]] é igual à informação mútua, maximizada sobre todas as distribuições de entradas.
* Métodos de modelagem discriminativa para [[cadeias de Markov]] escondidas foram propostos baseados no critério de informação mútua máxima.
* Predição da [[Ácido_ribonucleico#Estrutura|Estrutura secundária do RNA]] a partir do [[Alinhamento múltiplo de sequências]]
* Predição do perfil [[filogenética|filogenético]] a partir de pares presentes e ausentes de [[genes]] funcionais.
* Informação mútua tem sido usada como critéria para a seleção de atributos e transformações de atributos em [[aprendizado de máquinas]]. Ela pode ser usada tanto para caracterizar a relevância e redundância de variáveis como um método de selecionamento do atributo redundante mínimo.
* Informação mútua é usada para determinar a similaridade de dois [[clustering|agrupamentos de dados]] diferentes de um conjunto de dados (dataset). Como tal ela provê algumas vantagens sobre a técnica tradicional usando índice de Rand.
* Informação mútua de palavras é comumente usada como uma função de significância para a computação de [[Colocação|colocações]] em [[linguística]]. Isto tem a complexidade adicional de que nenhuma palavra-instância é uma instância de duas palavras diferentes, ao contrário, conta-se instâncias como 2 palavras que ocorrem adjacentes ou próximas, o que complica um pouco o cálculo já que a probabilidade esperada de uma palavra ocorrer dentro de ''N'' palavras distantes de outra aumenta com ''N''.
* Informação mútua é usada em [[imagiologia médica]] para o [[Registro_de_imagem|corregistro de imagens]]. Dada uma imagem de referência (por exemplo uma imagem do cérebro) e uma segunda imagem que precisa ser colocada no mesmo [[sistema de coordenadas]] que a imagem de referência, esta segunda imagem é deformada até que a informação mútua entre ela e a primeira seja maximizada.
* Detecção da [[Sincronização_(matemática)#Sincronização_em_Fase|sincronização de fase]] em análise de [[séries temporais]].
* No método [[infomax]] para redes neurais e outras aprendizagens de máquina, incluindo o algóritmo [[análise independente de componentes]] baseado em infomax.
* Informação mútua média no [[teorema do mergulho de Takens]] é usada para determinar o parâmetro de atraso.
* Informação mútua entre [[genes]] em [[microarranjo]]s é usado pelo algoritmo [[ARACNE]] para a reconstrução de [[Redes_funcionais|redes genéticas]].
* Em [[mecânica estatística]], o [[paradoxo de Loschmidt]] pode ser expresso em termos da informação mútua.<ref name=everett56>[[Hugh Everett]] [https://www.pbs.org/wgbh/nova/manyworlds/pdf/dissertation.pdf Theory of the Universal Wavefunction], Thesis, Princeton University, (1956, 1973), pp 1–140 (page 30)</ref><ref name=everett57>{{citar periódico |último1= Everett |primeiro1= Hugh |autorlink= Hugh Everett |ano= 1957 |título= Relative State Formulation of Quantum Mechanics |url= http://www.univer.omsk.su/omsk/Sci/Everett/paper1957.html |periódico= Reviews of Modern Physics |volume= 29 |número=  |páginas= 454–462 |doi= 10.1103/revmodphys.29.454 |acessodata= 1 de junho de 2018 |arquivourl= https://web.archive.org/web/20111027191052/http://www.univer.omsk.su/omsk/Sci/Everett/paper1957.html# |arquivodata= 27 de outubro de 2011 |urlmorta= yes }}</ref> Loschmidt demonstrou que é impossível determinar uma lei física que não tenha [[simetria temporal reversa]] (e.g. [[segunda lei da termodinâmica]]) somente a partir de leis físicas que tenham esta simetria. Ele mostrou que o [[Ludwig_Boltzmann#Teorema_H_e_Equação_de_transporte_de_Boltzmann|teorema-H]] de [[Boltzmann]] assumiu que as velocidades das partículas em um gás eram permanentemente não correlacionadas, o que removia a simetria temporal inerente no teorema H. Pode ser mostrado que se um sistema é descrito por uma densidade de probabilidade no [[espaço de fases]], entao o [[teorema de Liouville]] implica que a informação conjunta (negativo da entropia conjunta) da distribuição permanece constante no tempo. A informação conjunta é igual à informação mútua mais a soma de todas as informações marginais (negativo das entropias marginais) para cada coordenada das partículas. A assunção de Boltzmann equivale a ignorar a informação mútua no cálculo da entropia, o que fornece a entropia termodinâmica (dividida pela constante de Boltzmann).
* A informação mútua é usada para aprender a estrutura das [[Rede_bayesiana|redes Bayesianas]], que imagina-se explicar a relação causal entre variáveis aleatórias, como exemplicado pelo toolkit GlobalMIT [http://code.google.com/p/globalmit/]: aprendendo a rede dinâmica Bayesiana globalmente ótima com o critéria de teste da informação mútua.
* Função de custo popular em [[Aprendizado_de_máquina#Aprendizado_baseado_em_árvores_de_decisão|aprendizado por árvores de decisão]]
* A informação mútua é usada em Cosmologia para testar a influência de ambientes de larga escala nas propriedades da galáxia no [[Galaxy Zoo]].
* A informação mútua foi usada em [[Física Solar]] para derivar o perfil diferencial solar, um mapa de desvios no tempo de viagem para manchas solares, e um diagrama de tempo-distância para medidas do Sol quieto (quiet sun).<ref>{{citar periódico|último1 =Keys|primeiro1 =Dustin|último2 =Kholikov|primeiro2 =Shukur|último3 =Pevtsov|primeiro3 =Alexei A.|título=Application of Mutual Information Methods in Time Distance Helioseismology|periódico=Solar Physics|data=Fevereiro de 2015|volume=290|número=3|páginas=659–671|doi=10.1007/s11207-015-0650-y|arxiv=1501.05597}}</ref>

== Notas ==
<references />

== Referências ==
* {{citar periódico
  |último1 = Cilibrasi
  |primeiro1 = R.
  |primeiro2 = Paul
  |último2 = Vitányi
  |título= Clustering by compression
  |periódico= IEEE Transactions on Information Theory
  | volume = 51
  |número= 4
  |páginas= 1523–1545
  |ano= 2005
  | url = http://www.cwi.nl/~paulv/papers/cluster.pdf
  |formato= [[PDF]]
  | doi = 10.1109/TIT.2005.844059
  | ref = harv
}}
* {{citar livro|último1 =Cronbach|primeiro1 =L. J.|ano=1954|capítulo=On the non-rational application of information measures in psychology|editor-nome1 =Henry|editor-sobrenome1 =Quastler|editor1-link=Henry Quastler|título=Information Theory in Psychology: Problems and Methods|publicado=Free Press|local=Glencoe, Illinois|páginas=14–30|ref=harv}}
* {{citar livro|último1 =Coombs|primeiro1 =C. H.|último2 =Dawes|primeiro2 =R. M.|último3 =Tversky|primeiro3 =A.|ano=1970|título=Mathematical Psychology: An Elementary Introduction|publicado=Prentice-Hall|local=Englewood Cliffs, New Jersey|ref=harv}}
* {{citar periódico|primeiro1 =Kenneth Ward|último1 =Church|primeiro2 =Patrick|último2 =Hanks|título=Word association norms, mutual information, and lexicography|periódico=Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics|ano=1989|url=http://dl.acm.org/citation.cfm?id=89095}}
* {{citar periódico|primeiro1 =I.M.|último1 =Gel'fand|primeiro2 =A.M.|último2 =Yaglom|ano=1957|título=Calculation of amount of information about a random function contained in another such function|periódico= American Mathematical Society Translations: Series 2 |volume = 12 |páginas= 199–246 |ref=harv}} English translation of original in ''Uspekhi Matematicheskikh Nauk'' '''12'''&nbsp;(1):&nbsp;3-52.
* {{citar livro|último =Guiasu|primeiro =Silviu|ano=1977|título=Information Theory with Applications|publicado=McGraw-Hill, New York|isbn=978-0-07-025109-0|ref=harv}}
* {{citar livro
  |último1 = Li
  |primeiro1 = Ming
  |primeiro2 = Paul
  |último2 = Vitányi
  |título= An introduction to Kolmogorov complexity and its applications
  |local= New York
  |publicado= [[Springer-Verlag]]
  |data=Fevereiro de 1997
  | isbn = 0-387-94868-6
  | ref=harv }}
* {{citar periódico|último1 = Lockhead |primeiro1 = G. R. |ano= 1970 |título= Identification and the form of multidimensional discrimination space | url = |periódico= Journal of Experimental Psychology | volume = 85 |número= 1|páginas= 1–10 | doi=10.1037/h0029508| pmid = 5458322 | ref = harv}}
* David J. C. MacKay. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003. {{ISBN|0-521-64298-1}} (available free online)
* {{citar periódico|último1 = Haghighat |primeiro1 = M. B. A. |último2 = Aghagolzadeh |primeiro2 = A. |último3 = Seyedarabi |primeiro3 = H. |ano= 2011 |título= A non-reference image fusion metric based on mutual information of image features | url = |periódico= Computers & Electrical Engineering | volume = 37 |número= 5|páginas= 744–756 | doi=10.1016/j.compeleceng.2011.07.012}}
* [[Athanasios Papoulis]]. ''Probability, Random Variables, and Stochastic Processes'', second edition. New York: McGraw-Hill, 1984. ''(See Chapter 15.)''
* {{citar livro|último1 =Witten|primeiro1 =Ian H.|último2 =Frank|primeiro2 =Eibe |lastauthoramp=yes |ano=2005|título=Data Mining: Practical Machine Learning Tools and Techniques|publicado=Morgan Kaufmann, Amsterdam|isbn=978-0-12-374856-0|url=http://www.cs.waikato.ac.nz/~ml/weka/book.html|ref=harv}}
* {{citar periódico|autor =Peng, H.C., Long, F., and Ding, C.|título=Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy|periódico=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=27|número=8|páginas=1226–1238|ano=2005|url=http://research.janelia.org/peng/proj/mRMR/index.htm|doi=10.1109/tpami.2005.159|pmid=16119262}}
* {{citar periódico|autor1 =Andre S. Ribeiro |autor2 =Stuart A. Kauffman |autor3 =Jason Lloyd-Price |autor4 =Bjorn Samuelsson |autor5 =Joshua Socolar  |last-author-amp=yes |ano=2008|título=Mutual Information in Random Boolean models of regulatory networks|periódico=Physical Review E|volume=77|número=1|arxiv=0707.3642|doi=10.1103/physreve.77.011901 }}
* {{citar periódico
 |último1    = Wells
 |primeiro1   = W.M. III
 |último2    = Viola
 |primeiro2   = P.
 |último3    = Atsumi
 |primeiro3   = H.
 |último4    = Nakajima
 |primeiro4   = S.
 |último5    = Kikinis
 |primeiro5   = R.
 |título     = Multi-modal volume registration by maximization of mutual information
 |periódico  = Medical Image Analysis
 |volume      = 1
 |número     = 1
 |páginas    = 35–51
 |ano         = 1996
 |pmid        = 9873920
 |doi         = 10.1016/S1361-8415(01)80004-9
 |url         = http://www.ai.mit.edu/people/sw/papers/mia.pdf
 |formato     = [[PDF]]
 |ref         = harv
 |acessodata  = 1 de junho de 2018
 |arquivourl  = https://web.archive.org/web/20080906201633/http://www.ai.mit.edu/people/sw/papers/mia.pdf#
 |arquivodata = 6 de setembro de 2008
 |urlmorta    = yes
}}
* {{citar periódico|último1 = Pandey |primeiro1 = Biswajit |último2 = Sarkar |primeiro2 = Suman |ano= 2017 |título= How much a galaxy knows about its large-scale environment?: An information theoretic perspective | url = |periódico= Monthly Notices of the Royal Astronomical Society Letters| volume = 467 |número= |página= L6 | doi=10.1093/mnrasl/slw250| arxiv = 1611.00283}}
[[Categoria:Teoria da informação]]
[[Categoria:Sistemas dinâmicos]]
[[Categoria:Entropia]]