Mostrar código-fonte de Naive Bayes

{{Barra de aprendizagem de máquina}}
[[Image:Naive corral.png|thumb|Representação gráfica de um classificador de Naive Bayes]]
Em [[estatística]], '''Naive Bayes''' é uma família de [[Classificação estatística|classificadores]] [[Probabilidade|probabilísticos]] que se baseiam na aplicação da [[inferência bayesiana]] com fortes suposições de [[Independência (estatística)|independência]] entre as variáveis. Estão entre os modelos mais simples de [[Rede bayesiana|redes bayesianas]],<ref>{{cite web |last1=McCallum |first1=Andrew |title=Graphical Models, Lecture2: Bayesian Network Representation |url=https://people.cs.umass.edu/~mccallum/courses/gm2011/02-bn-rep.pdf |archive-url=https://ghostarchive.org/archive/20221009/https://people.cs.umass.edu/~mccallum/courses/gm2011/02-bn-rep.pdf |archive-date=2022-10-09 }}</ref> mas podem, em certas condições, atingir altos níveis de precisão, em especial quando associados a métodos de [[Estimativa de densidade kernel|estimativa de densidade]].<ref name="hastie01">{{Cite book|last=Hastie, Trevor.|title=The elements of statistical learning : data mining, inference, and prediction : with 200 full-color illustrations|date=2001|publisher=Springer|others=Tibshirani, Robert., Friedman, J. H. (Jerome H.)|isbn=0-387-95284-5|location=New York|oclc=46809224}}</ref>

Classificadores de Naive Bayes são altamente escaláveis, exigindo um grande número de variáveis para o aprendizado. Treinamento para estimação de [[Máxima verossimilhança|máxima verossimilhança]] pode ser feito por meio da avaliação de uma [[Forma fechada (matemática)|fórmula fechada]], que apresenta uma [[Complexidade temporal|complexidade linear]], com uma performance consideravelmente melhor do que o [[Método iterativo|método iterativo]] usado pela maioria dos outros algoritmos de classificação.

Na literatura estatística, modelos de Naive Bayes são conhecidos por uma variedade de nomes, como '''Bayes Ingênuo''','''Bayes Simples''' e '''Bayes Independente'''.<ref name="idiots">{{cite journal |last1=Hand |first1=D. J. |last2=Yu |first2=K. |year=2001 |title=Idiot's Bayes — not so stupid after all? |journal=International Statistical Review |volume=69 |issue=3 |pages =385–399 |issn=0306-7734 |doi=10.2307/1403452|jstor=1403452 }}</ref> Essas nomenclaturas são referências ao uso do [[teorema de Bayes]] nas regras do classificador, embora o Naive Bayes não necessariamente é considerado um método estritamente Bayesiano.<ref name="idiots" />

==Introdução==
Naive Bayes é um método bastante simples de construção de classificadores: modelos que designam ''labels'' de classe para instâncias de problema, representados como valores de atributos, aonde as ''labels'' das classes são obtidas a partir de um [[conjunto finito]]. Não há um único [[algoritmo]] para treinar esses classificadores, mas sim uma família de algoritmos com uma característica em comum: todos os classificadores de Naive Bayes assumem que o valor de um atributo específico é independente do valor de qualquer outro atributo, dada a variável de classe. Por exemplo, uma fruta pode ser considerada uma "maçã" de for vermelha, redonda, e aproxidamente 10&nbsp;cm de diâmetro.  Um classificador de Naive Bayes considera que cada um desses atributos contribui de forma ''independente'' para a probabilidade dessa fruta ser uma maçã, independente de possíveis [[Correlação|correlações]] entre cor, forma, e diâmetro.

Em muitas aplicações práticas, a estimativa de parâmetros para modelos de Naive Bayes usa o método de [[máxima verossimilhança]]; ou seja, é possível trabalhar com Naive Bayes sem necessariamente trabalhar com métodos Bayesianos.

Apesar da estrutura simples, Naive Bayes costuma ter uma performance bastante satisfatória em muitas aplicações complexas. Em 2004, uma análise do problema de classificação Bayesiana mostrou que há sólidas razões teóricas para a [[eficácia]] aparentemente inexplicável dos classificadores de Naive Bayes.<ref>{{cite conference | first = Harry | last = Zhang | title = The Optimality of Naive Bayes | conference = FLAIRS2004 conference | url = http://www.cs.unb.ca/profs/hzhang/publications/FLAIRS04ZhangH.pdf }}</ref> No entanto, uma comparação compreensiva em 2006 sugere que a classificação de Naive Bayes poderia teoricamente ser superada por outras abordagens, como as [[Aprendizagem de árvore de decisão|árvores de decisão]].<ref>{{cite conference | last1 = Caruana | first1 = R. | last2 = Niculescu-Mizil | first2 = A. | title = An empirical comparison of supervised learning algorithms | conference = Proc. 23rd International Conference on Machine Learning | year = 2006 | citeseerx = 10.1.1.122.5901 }}</ref>

Uma das grandes vantagens do Naive Bayes é precisar de uma quantidade relativamente pequena de dados de treinamento para fazer a estimativa dos parâmetros necessários à classificação.<ref>{{cite web |title=Why does Naive Bayes work better when the number of features >> sample size compared to more sophisticated ML algorithms? |url=https://stats.stackexchange.com/q/379383 |website=Cross Validated Stack Exchange}}</ref>

== Discussão ==

===Relação com regressão logística===

No caso de dados de entrada(''inputs'') discretos (indicadores ou atributos de frequência para eventos discretos), classificadores de Naive Bayes formam um par ''generativo-discriminativo'' com classificadores de [[regressão logística]] multinomial: cada classificador Naive Bayes pode ser considerado uma forma de encaixar um modelo probabilístico que optimiza a probabilidade conjunta <math>p(C, \mathbf{x})</math>, enquanto a regressão logística ajusta o mesmo modelo probabilístico para otimizar a condicional <math>p(C \mid \mathbf{x})</math>.<ref name="pair">{{cite conference |first1=Andrew Y. |last1=Ng |author-link1=Andrew Ng |first2=Michael I. |last2=Jordan |author-link2=Michael Irwin Jordan |title=On discriminative vs. generative classifiers: A comparison of logistic regression and naive Bayes |conference=[[Conference on Neural Information Processing Systems|NIPS]] |volume=14 |year=2002 |url=http://papers.nips.cc/paper/2020-on-discriminative-vs-generative-classifiers-a-comparison-of-logistic-regression-and-naive-bayes}}</ref>

Formalmente, temos:

{{Math proof|proof=  
Considere um problema genérico de classificação multiclasses, com as possíveis classes <math>Y\in \{1, ..., n\}</math>, então o classificador de Bayes (não-Naive) resulta, pelo teorema de Bayes, em:

<math display="block">p(Y \mid X=x) = \text{softmax}(\{\ln p(Y = k) + \ln p(X=x \mid Y=k)\}_k)</math>

E o classificador Naive Bayes resulta em  

<math display="block">\text{softmax}\left(\left\{\ln p(Y = k) + \frac 12 \sum_i (a^+_{i, k} - a^-_{i, k})x_i + (a^+_{i, k} + a^-_{i, k})\right\}_k\right)</math>
aonde 

<math display="block">a^+_{i, s} = \ln p(X_i=+1 \mid Y=s);\quad a^-_{i, s} = \ln p(X_i=-1 \mid Y=s)</math>

Exatamente como um classificador de regressão logística.}}

A ligação entre os dois fica clara quando observamos que a função de decisão para Naive Bayes (no exemplo de variáveis binárias) pode ser reescrita como "preveja a classe <math>C_1</math> se a [[chance]] de <math>p(C_1 \mid \mathbf{x})</math> é maior que a de <math>p(C_2 \mid \mathbf{x})</math>". Escrevendo em log temos:

:<math>
\log\frac{p(C_1 \mid \mathbf{x})}{p(C_2 \mid \mathbf{x})} = \log p(C_1 \mid \mathbf{x}) - \log p(C_2 \mid \mathbf{x}) > 0
</math>

O lado esquerdo dessa equação é o ''[[logit]]'', a quantidade prevista pelo modelo linear que é a base da regressão logística. Como Naive Bayes também age como um modelo linear para os dois modelos de evento "discreto", pode ser "reparametrizado" como uma função linear <math>b + \mathbf{w}^\top x > 0</math>. Então, obter as probabilidades é só uma questão de aplicar a ''[[função logística]]'' para <math>b + \mathbf{w}^\top x</math>, ou, no caso de multiclasses, a ''[[função softmax]]''.

Classificadores discriminativos costumam apresentar um menor erro assintótico do que os generativos; no entanto, estudos dos pesquisadores [[Andrew Ng]] e [[Michael Irwin Jordan]] mostrou que em certos casos o Naive Bayes pode até mesmo superar a performance da regressão logística, justamente por atingir seu erro assintótico mais rapidamente.<ref name="pair"/>

== Exemplos ==

===Classificação de indivíduos humanos===
Problema: classificar se um dado indivíduo é do sexo masculino ou feminino, baseando-se em características medidas, como altura, peso, e tamanho dos pés.
Embora com classificadores NB essas variáveis serão tratadas como independentes, isso não é verdade.

====Treinamento====
Conjunto de treinamento de exemplo abaixo.

{| class="wikitable"
|-
! Pessoa !! altura (pés) !! peso (libras) !! tamanho do pé(polegadas)
|-
| masculino || 6 || 180 || 12
|-
| masculino || 5.92 (5'11") || 190 || 11
|-
| masculino || 5.58 (5'7") || 170 || 12
|-
| masculino || 5.92 (5'11") || 165 || 10
|-
| feminino || 5 || 100 || 6
|-
| feminino || 5.5 (5'6") || 150 || 8
|-
| feminino || 5.42 (5'5") || 130 || 7
|-
| feminino || 5.75 (5'9") || 150 || 9
|-
|}

Um classificador criado a partir do conjunto descrito, assumindo uma distribuição Gaussiana, seria (dado que as variâncias são ''imparciais''):
{| class="wikitable"
|-
! Person !! média (altura) !! variância (altura) !! média (peso) !! variância (peso) !! média (tamanho do pé) !! variância (tamanho do pé)
|-
| masculino || 5.855 || 3.5033 × 10<sup>−2</sup> || 176.25 || 1.2292 × 10<sup>2</sup> || 11.25 || 9.1667 × 10<sup>−1</sup>
|-
| feminino || 5.4175 || 9.7225 × 10<sup>−2</sup> || 132.5 || 5.5833 × 10<sup>2</sup> || 7.5 || 1.6667
|}

O exemplo a seguir assume classes equiparáveis, de modo que P(masculino)= P(feminino) = 0.5. A distrubuição probabilística anterior pode se basear em um conhecimento prévio das frequências na população geral ou no conjunto de treinamento.

====Testando====

Abaixo vemos uma amostra de indivíduo para ser classificado como ''masculino'' ou ''feminino''.

{| class="wikitable"
|-
! Pessoa !! altura (pés) !! peso (libras) !! tamanho do pé(polegadas)
|-
| amostra || 6 || 130 || 8
|}

Para classificar essa amostra, é preciso determinar qual posterior é maior, masculino or feminino. Para classificar como ''masculino'' a posterior é dada por

:<math>
\text{posterior (masculino)} = \frac{P(\text{masculino}) \, p(\text{altura} \mid \text{masculino}) \, p(\text{peso} \mid \text{masculino}) \, p(\text{tamanho do pé} \mid \text{masculino})}{evidencia}
</math>

Para classificar como ''feminino'' o posterior é dado por
:<math>
\text{posterior (feminino)} = \frac{P(\text{feminino}) \, p(\text{altura} \mid \text{feminino}) \, p(\text{peso} \mid \text{feminino}) \, p(\text{tamanho do pé} \mid \text{feminino})}{evidencia}
</math>

A "evidência" (ou constante de normalização) pode então ser calculada:

:<math>
\begin{align}
\text{evidencia} = P(\text{masculino}) \, p(\text{altura} \mid \text{masculino}) \, p(\text{peso} \mid \text{masculino}) \, p(\text{tamanho do pé} \mid \text{masculino}) \\
+ P(\text{feminino}) \, p(\text{altura} \mid \text{feminino}) \, p(\text{peso} \mid \text{feminino}) \, p(\text{tamanho do pé} \mid \text{feminino})
\end{align}
</math>

No entanto, a evidência é constante, e portanto escalonará ambas as posteriores igualmente. Dessa forma, não afeta a classificação e será ignorada. A distribuição probabilística para a classificação da amostra então será:

:<math>
P(\text{masculino}) = 0.5

</math>
:<math>p({\text{altura}} \mid \text{masculino}) = \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(\frac{-(6-\mu)^2}{2\sigma^2}\right) \approx 1.5789</math>,

onde <math>\mu = 5.855</math> e <math>\sigma^2 = 3.5033 \cdot 10^{-2}</math> são os parâmetros de [[distribuição normal]] que haviam sido previamente determinados para o conjunto de treinamento. Note que um valor maior que 1 é aceitável nesse caso – é a ''densidade de probabilidade'' e não uma probabilidade em si, já que ''altura'' é uma variável contínua.

:<math>
p({\text{peso}} \mid \text{masculino}) = \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(\frac{-(130-\mu)^2}{2\sigma^2}\right) = 5.9881 \cdot 10^{-6}
</math>
:<math>
p({\text{tamanho do pé}} \mid \text{masculino}) = \frac{1}{\sqrt{2\pi \sigma^2}}\exp\left(\frac{-(8-\mu)^2}{2\sigma^2}\right) = 1.3112 \cdot 10^{-3}
</math>
:<math>
\text{numerador posterior (masculino)} = \text{produto} = 6.1984 \cdot 10^{-9}
</math>

:<math>
P({\text{feminino}}) = 0.5
</math>
:<math>
p({\text{altura}} \mid {\text{feminino}}) = 2.23 \cdot 10^{-1}
</math>
:<math>
p({\text{peso}} \mid {\text{feminino}}) = 1.6789 \cdot 10^{-2}
</math>
:<math>
p({\text{tamanho do pé}} \mid {\text{feminino}}) = 2.8669 \cdot 10^{-1}
</math>
:<math>
\text{numerador posterior (feminino)} = \text{o produto} = 5.3778 \cdot 10^{-4}
</math>

Como o numerador do posterior é maior no caso feminino, a previsão classifica a amostra como feminino.

== Veja também ==
* [[Filtro bayesiano]]
* [[Classificação estatística]]
* [[Aprendizado de máquina]]
* [[Rede bayesiana]]
* [[Perceptron]]
* [[Rede neural artificial]]
* [[Perceptron]]

== Referências ==
{{Reflist}}

== Leitura Complementar ==
* {{cite journal |last1=Domingos |first1=Pedro |first2=Michael |last2=Pazzani |year=1997 |title=On the optimality of the simple Bayesian classifier under zero-one loss |journal=[[Machine Learning (journal)|Machine Learning]] |volume=29 |issue=2/3 |pages=103–137 |url = http://citeseer.ist.psu.edu/domingos97optimality.html |doi=10.1023/A:1007413511361 |doi-access=free }}
* {{cite journal |last1=Webb |first1=G. I. |first2=J. |last2=Boughton |first3=Z. |last3=Wang |year=2005 |title=Not So Naive Bayes: Aggregating One-Dependence Estimators |journal=Machine Learning |volume=58 |issue=1 |pages=5–24 |doi = 10.1007/s10994-005-4258-6 |doi-access=free }}
* {{cite conference |last1=Mozina |first1=M. |last2=Demsar |first2=J. |last3=Kattan |first3=M. |last4=Zupan |first4=B. |year=2004 |title=Nomograms for Visualization of Naive Bayesian Classifier |conference=Proc. PKDD-2004 |pages=337–348 |url = http://eprints.fri.uni-lj.si/154/01/PKDD_camera_mozina.pdf }}
* {{cite journal |last = Maron |first = M. E. |year=1961 |title=Automatic Indexing: An Experimental Inquiry |journal=[[Journal of the ACM]] |volume=8 |issue=3 |pages=404–417 |doi = 10.1145/321075.321084 |hdl=2027/uva.x030748531 |s2cid = 6692916 |hdl-access=free }}
* {{cite conference |last1=Minsky |first1=M. |author-link=Marvin Minsky |year=1961 |title=Steps toward Artificial Intelligence |conference=Proc. IRE |volume=49 |issue=1 |pages = 8–30 }}

==Ligações Externas==
* [http://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html Capítulo de livro: Naive Bayes text classification, Introduction to Information Retrieval]
* [http://www.cs.waikato.ac.nz/~eibe/pubs/FrankAndBouckaertPKDD06new.pdf Naive Bayes for Text Classification with Unbalanced Classes]
* [http://tunedit.org/results?d=UCI/&a=bayes Benchmark results of Naive Bayes implementations]
* [http://www.biomedcentral.com/1471-2105/7/514 Hierarchical Naive Bayes Classifiers for uncertain data] 


[[Categoria:Algoritmos de classificação]]