Mostrar código-fonte de Rede neural de processo Gaussiano

{{Tradução de|idioma=en|página=Neural_network_Gaussian_process|data=28/11/2020}}
[[File:Infinitely_wide_neural_network.webm|miniaturadaimagem|406x406px|'''Esquerda''': uma rede neural Bayesiana [[Rede bayesiana|Bayesian neural network]] com duas camadas ocultas, transformando uma entrada tridimensional (na parte inferior) em uma saída bidimensional  <math>(y_1, y_2)</math> (na parte superior). '''Direita''': saída [[Função densidade]] <math>p(y_1, y_2)</math> induzida por pesos aleatórios da rede. '''Vídeo''': conforme a largura da rede aumenta, a distribuição de saída se simplifica, convergindo para uma [[Distribuição normal|distribuição normal multivariada]] no limite de largura infinita.]]
A [[rede bayesiana]] é uma ferramenta de modelagem para atribuir probabilidades a eventos e, assim, caracterizar a incerteza nas previsões de um modelo. [[Aprendizagem profunda]] e [[Rede neural artificial|redes neurais artificiais]] são abordagens usadas no [[aprendizado de máquina]] para construir modelos computacionais que aprendam com exemplos de treinamento. As redes neurais bayesianas mesclam esses campos. Elas são um tipo de [[Rede neural artificial]] cujos [[Parâmetro estatístico|parâmetros]] e previsões são probabilísticos.<ref>{{Citar periódico |ultimo=MacKay |primeiro=David J. C. |data=1992 |titulo=A Practical Bayesian Framework for Backpropagation Networks |periódico=Neural Computation |volume=4 |paginas=448–472 |doi=10.1162/neco.1992.4.3.448 |issn=0899-7667}}</ref><ref>{{Citar livro|título=Bayesian Learning for Neural Networks|ultimo=Neal|primeiro=Radford M.|ano=2012|publicação=Springer Science and Business Media}}</ref> Enquanto as redes neurais artificiais padrão geralmente atribuem alta confiança até mesmo para previsões incorretas,<ref>
{{Citar periódico |ultimo=Guo |primeiro=Chuan |ultimo2=Pleiss |primeiro2=Geoff |ultimo3=Sun |primeiro3=Yu |ultimo4=Weinberger |primeiro4=Kilian Q. |data=2017 |titulo=On calibration of modern neural networks |periódico=Proceedings of the 34th International Conference on Machine Learning-Volume 70 |arxiv=1706.04599}}
</ref> as redes neurais bayesianas podem avaliar com mais precisão a probabilidade de suas previsões estarem corretas.

As Redes Neurais de Processo Gaussiano (RNPGs) são equivalentes às redes neurais Bayesianas até um determinado limite,<ref name=":2">{{Citation|último =Neal|primeiro1 =Radford M.|capítulo=Priors for Infinite Networks|data=1996|título=Bayesian Learning for Neural Networks|series=Lecture Notes in Statistics|volume=118|páginas=29–53|publicado=Springer New York|doi=10.1007/978-1-4612-0745-0_2|isbn=978-0-387-94724-2}}</ref><ref name=":11">
{{Citar periódico |ultimo=Williams |primeiro=Christopher K. I. |data=1997 |titulo=Computing with infinite networks |periódico=Neural Information Processing Systems}}
</ref><ref name=":0">{{Citar periódico |ultimo=Lee |primeiro5=Jeffrey |arxiv=1711.00165 |periódico=International Conference on Learning Representations |titulo=Deep Neural Networks as Gaussian Processes |data=2017 |primeiro6=Jascha |ultimo6=Sohl-Dickstein |ultimo5=Pennington |primeiro=Jaehoon |primeiro4=Samuel S. |ultimo4=Schoenholz |primeiro3=Roman |ultimo3=Novak |primeiro2=Yasaman |ultimo2=Bahri |bibcode=2017arXiv171100165L}}</ref><ref name=":3">
{{Citar periódico |ultimo=G. de G. Matthews |primeiro=Alexander |ultimo2=Rowland |primeiro2=Mark |ultimo3=Hron |primeiro3=Jiri |ultimo4=Turner |primeiro4=Richard E. |ultimo5=Ghahramani |primeiro5=Zoubin |data=2017 |titulo=Gaussian Process Behaviour in Wide Deep Neural Networks |periódico=International Conference on Learning Representations |arxiv=1804.11271 |bibcode=2018arXiv180411271M}}
</ref><ref name=":1">
{{Citar periódico |ultimo=Novak |primeiro6=Dan |arxiv=1810.05148 |periódico=International Conference on Learning Representations |titulo=Bayesian Deep Convolutional Networks with Many Channels are Gaussian Processes |data=2018 |primeiro8=Jascha |ultimo8=Sohl-Dickstein |primeiro7=Jeffrey |ultimo7=Pennington |ultimo6=Abolafia |primeiro=Roman |primeiro5=Greg |ultimo5=Yang |primeiro4=Yasaman |ultimo4=Bahri |primeiro3=Jaehoon |ultimo3=Lee |primeiro2=Lechao |ultimo2=Xiao |bibcode=2018arXiv181005148N}}</ref><ref name=":4">
{{Citar periódico |ultimo=Garriga-Alonso |primeiro=Adrià |ultimo2=Aitchison |primeiro2=Laurence |ultimo3=Rasmussen |primeiro3=Carl Edward |data=2018 |titulo=Deep Convolutional Networks as shallow Gaussian Processes |periódico=International Conference on Learning Representations |arxiv=1808.05587 |bibcode=2018arXiv180805587G}}</ref><ref name=":9">
{{Citar arXiv|arxiv=1810.10798|nome=Anastasia|sobrenome=Borovykh|titulo=A Gaussian Process perspective on Convolutional Neural Networks}}
</ref><ref>
{{Citar arXiv|arxiv=2002.08517|nome=Russell|sobrenome=Tsuchida|nome2=Tim|sobrenome2=Pearce|titulo=Avoiding Kernel Fixed Points: Computing with ELU and GELU Infinite Networks}}
</ref><ref name=":5">
{{Citar periódico |ultimo=Yang |primeiro=Greg |data=2019 |titulo=Tensor Programs I: Wide Feedforward or Recurrent Neural Networks of Any Architecture are Gaussian Processes |url=https://papers.nips.cc/paper/9186-wide-feedforward-or-recurrent-neural-networks-of-any-architecture-are-gaussian-processes.pdf |periódico=Advances in Neural Information Processing Systems |arxiv=1910.12478 |bibcode=2019arXiv191012478Y}}
</ref> e fornecem uma [[Forma fechada (matemática)|forma fechada]] de avaliar redes neurais bayesianas. Elas são uma [[distribuição de probabilidade]] do [[processo gaussiano]] que descreve a distribuição sobre as previsões feitas pela rede neural bayesiana correspondente. A computação em redes neurais artificiais é geralmente organizada em camadas sequenciais de [[Neurônio artificial|neurônios artificiais]]. O número de neurônios em uma camada é chamado de largura da camada. A equivalência entre RNPGs e redes neurais bayesianas ocorre quando as camadas em uma rede neural bayesiana se tornam infinitamente largas (veja a figura). Este grande limite de largura é de interesse prático, uma vez que as redes neurais de largura finita normalmente funcionam estritamente melhor à medida que a largura da camada é aumentada.<ref name=":7">
{{Citar periódico |ultimo=Novak |primeiro=Roman |ultimo2=Bahri |primeiro2=Yasaman |ultimo3=Abolafia |primeiro3=Daniel A. |ultimo4=Pennington |primeiro4=Jeffrey |ultimo5=Sohl-Dickstein |primeiro5=Jascha |data=2018-02-15 |titulo=Sensitivity and Generalization in Neural Networks: an Empirical Study |url=https://openreview.net/forum?id=HJC2SzZCW |periódico=International Conference on Learning Representations |arxiv=1802.08760 |bibcode=2018arXiv180208760N}}</ref><ref name=":8">
{{Citar periódico |ultimo=Canziani |primeiro=Alfredo |ultimo2=Paszke |primeiro2=Adam |ultimo3=Culurciello |primeiro3=Eugenio |data=2016-11-04 |titulo=An Analysis of Deep Neural Network Models for Practical Applications |url=https://openreview.net/forum?id=Bygq-H9eg |arxiv=1605.07678 |bibcode=2016arXiv160507678C}}</ref><ref name=":6">
{{Citar periódico |ultimo=Neyshabur |primeiro=Behnam |ultimo2=Li |primeiro2=Zhiyuan |ultimo3=Bhojanapalli |primeiro3=Srinadh |ultimo4=LeCun |primeiro4=Yann |ultimo5=Srebro |primeiro5=Nathan |data=2019 |titulo=Towards understanding the role of over-parametrization in generalization of neural networks |periódico=International Conference on Learning Representations |arxiv=1805.12076 |bibcode=2018arXiv180512076N}}
</ref>
{{Referências}}
{{Esboço-computação}}
{{Inteligência artificial}}
{{Portal3|Tecnologia|Tecnologias de informação}}
[[Categoria:Aprendizagem de máquina]]
[[Categoria:Ciência da computação]]
[[Categoria:Tecnologia da informação]]