Mostrar código-fonte de Aprendizagem profunda

{{Descrição curta|Ramo da aprendizagem de máquina}}
<!--[[Imagem:Deep Learning.jpg|alt=Representando imagens em múltiplas camadas de abstração em aprendizagem profunda|thumb|upright=1.35|Representando imagens em múltiplas camadas de abstração em aprendizagem profunda<ref>{{Cite journal|last1=Schulz|first1=Hannes|last2=Behnke|first2=Sven|date=01-11-2012|title=Deep Learning|journal=KI - Künstliche Intelligenz|language=en|volume=26|issue=4|pages=357–363|doi=10.1007/s13218-012-0198-z|s2cid=220523562|issn=1610-1987|url=https://www.semanticscholar.org/paper/51a80649d16a38d41dbd20472deb3bc9b61b59a0}}</ref>]]-->
A '''aprendizagem profunda''' é um subconjunto do [[aprendizado de máquina]] que se concentra na utilização de [[Rede neural artificial|redes neurais]] para executar tarefas como [[Classificação estatística|classificação]], [[Regressão (estatística)|regressão]] e [[Aprendizagem de características|aprendizagem de representação]]. O campo se inspira na [[Neurociência|neurociência biológica]] e é centrado em empilhar [[Neurônio artificial|neurônios artificiais]] em camadas e "treiná-los" para processar dados. O adjetivo "profunda" se refere ao uso de múltiplas camadas (variando de três a várias centenas ou milhares) na rede. Os métodos usados podem ser [[Aprendizagem supervisionada|supervisionados]], <!--[[:en:Semi-supervised learning]]-->semissupervisionados ou [[Aprendizagem não supervisionada|não serem supervisionados]].<ref name="NatureBengio">{{Cite journal|last1=LeCun|first1=Yann|last2=Bengio|first2=Yoshua|last3=Hinton|first3=Geoffrey|s2cid=3074096|year=2015|title=Deep Learning|journal=Nature|volume=521|issue=7553|pages=436–444|doi=10.1038/nature14539|pmid=26017442|bibcode=2015Natur.521..436L|url=https://hal.science/hal-04206682/file/Lecun2015.pdf}}</ref>

Algumas arquiteturas comuns de redes de aprendizagem profunds incluem <!--[[:en:Network topology#Fully connected network]]-->[[Topologia de rede|redes totalmente conectadas]], <!--[[:en:Deep belief network]]-->redes de crenças profundas, <!--[[:en:Recurrent neural network]]-->redes neurais recorrentes, [[Rede neural convolucional|redes neurais convolucionais]], <!--[[:en:Generative adversarial network]]-->redes adversárias generativas, <!--[[:en:Transformer (deep learning architecture)]]-->transformadoras e <!--[[:en:Neural radiance field]]-->campos de radiância neural. Essas arquiteturas foram aplicadas a campos como [[visão computacional]], [[reconhecimento de fala]], [[processamento de linguagem natural]], [[tradução automática]], [[bioinformática]], [[Desenho de fármacos|design de medicamentos]], <!--[[:en:Medical image analysis]]-->análise de imagens médicas, [[Climatologia|ciência do clima]], inspeção de materiais e programas de [[Jogo de tabuleiro|jogos de tabuleiro]], onde produziram resultados comparáveis e, em alguns casos, superando o desempenho de especialistas humanos.<ref name=":9">{{Cite book|doi=10.1109/cvpr.2012.6248110|isbn=978-1-4673-1228-8|arxiv=1202.2745|chapter=Multi-column deep neural networks for image classification|title=2012 IEEE Conference on Computer Vision and Pattern Recognition|pages=3642–3649|year=2012|last1=Ciresan|first1=D.|last2=Meier|first2=U.|last3=Schmidhuber|first3=J.|s2cid=2161592}}</ref><ref name="krizhevsky2012">{{Cite journal|last1=Krizhevsky|first1=Alex|last2=Sutskever|first2=Ilya|last3=Hinton|first3=Geoffrey|date=2012|title=ImageNet Classification with Deep Convolutional Neural Networks|url=https://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|journal=NIPS 2012: Neural Information Processing Systems, Lake Tahoe, Nevada|access-date=2017-05-24|archive-date=2017-01-10|archive-url=https://web.archive.org/web/20170110123024/http://www.cs.toronto.edu/~kriz/imagenet_classification_with_deep_convolutional.pdf|url-status=live}}</ref><ref>{{Cite web|title=Google's AlphaGo AI wins three-match series against the world's best Go player|url=https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/|website=TechCrunch|date=25-05-2017|access-date=17-06-2018|archive-date=2018-06-17|archive-url=https://web.archive.org/web/20180617065807/https://techcrunch.com/2017/05/24/alphago-beats-planets-best-human-go-player-ke-jie/amp/|url-status=live}}</ref>

As primeiras formas de redes neurais foram inspiradas pelo processamento de informações e nós de comunicação distribuídos em <!--[[:en:Biological system]]-->sistemas biológicos, particularmente o [[cérebro humano]]. No entanto, as redes neurais atuais não pretendem modelar a função cerebral dos organismos e são geralmente vistas como modelos de baixa qualidade para esse propósito.<ref>{{Cite web|date=2022-11-02|title=Study urges caution when comparing neural networks to the brain|url=https://news.mit.edu/2022/neural-networks-brain-function-1102|access-date=2023-12-06|website=MIT News {{!}} Massachusetts Institute of Technology|language=en}}</ref>
{{TDC limitada|3}}

==Visão geral==
A maioria dos modelos modernos de aprendizagem profunda são baseados em [[Rede neural artificial|redes neurais]] multicamadas, como [[Rede neural convolucional|redes neurais convolucionais]] e <!--[[:en:Transformer (neural network)]]-->transformadoras, embora também possam incluir <!--[[:en:Propositional formula]]-->fórmulas proposicionais ou variáveis latentes organizadas em camadas em <!--[[:en:Generative model]]-->modelos generativos profundos, como os nós em <!--[[:en:Deep belief network]]-->redes de crenças profundas e <!--[[:en:Boltzmann machine]]-->máquinas de Boltzmann profundas.<ref name="BENGIODEEP">{{Cite journal|last=Bengio|first=Yoshua|year=2009|title=Learning Deep Architectures for AI|url=http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf|journal=Foundations and Trends in Machine Learning|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006|citeseerx=10.1.1.701.9550|s2cid=207178999|access-date=03-09-2015|archive-url=https://web.archive.org/web/20160304084250/http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20(2009).pdf|archive-date=2016-03-04|urlmorta=sim}}</ref>

Fundamentalmente, a aprendizagem profunda se refere a uma classe de [[algoritmo]]s de [[aprendizado de máquina]] em que uma hierarquia de camadas é usada para transformar dados de entrada em uma representação progressivamente mais abstrata e composta. Por exemplo, em um modelo de [[Visão computacional#Reconhecimento|reconhecimento de imagem]], a entrada bruta pode ser uma [[imagem]] (representada como um <!--[[:en:Tensor (machine learning)]]-->tensor de [[pixel]]s). A primeira camada representacional pode tentar identificar formas básicas, como linhas e círculos, a segunda camada pode compor e codificar arranjos de bordas, a terceira camada pode codificar um nariz e olhos, e a quarta camada pode reconhecer que a imagem contém um rosto.

É importante ressaltar que um processo de aprendizagem profunda pode aprender quais recursos posicionar de forma ideal em qual nível ''por conta própria''. Antes da aprendizagem profunda, as técnicas de aprendizado de máquina frequentemente envolviam [[Engenharia de características|engenharia de recursos]] feita à mão para transformar os dados em uma representação mais adequada para um algoritmo de classificação operar. Na abordagem de aprendizagem profunda, os recursos não são feitos à mão e o modelo [[Aprendizagem de características|descobre]] representações úteis de recursos a partir dos dados automaticamente. Isso não elimina a necessidade de ajuste manual; por exemplo, números variados de camadas e tamanhos de camadas podem fornecer diferentes graus de abstração.<ref name="BENGIO2012">{{Cite journal|last2=Courville|first2=A.|last3=Vincent|first3=P.|year=2013|title=Representation Learning: A Review and New Perspectives|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=35|issue=8|pages=1798–1828|arxiv=1206.5538|doi=10.1109/tpami.2013.50|pmid=23787338|last1=Bengio|first1=Y.|s2cid=393948}}</ref><ref name="NatureBengio" />

A palavra "profunda" em "aprendizagem profunda" se refere ao número de camadas através das quais os dados são transformados. Mais precisamente, os sistemas de aprendizagem profunda têm uma profundidade substancial de ''caminho de atribuição de crédito'' (CAP). O caminho de atribuição de crédito é a sequência de transformações de entrada para saída. Os caminhos de atribuição de crédito descrevem conexões potencialmente causais entre entrada e saída. Para uma <!--[[:en:Feedforward neural network]]-->rede neural feedforward, a profundidade dos caminhos de atribuição de crédito é a da rede e é o número de camadas ocultas mais uma (já que a camada de saída também é parametrizada). Para <!--[[:en:Recurrent neural network]]-->redes neurais recorrentes, nas quais um sinal pode se propagar através de uma camada mais de uma vez, a profundidade do caminho de atribuição de crédito é potencialmente ilimitada.<ref name="SCHIDHUB" /> Nenhum limite universalmente acordado de profundidade divide a aprendizagem superficial da aprendizagem profunda, mas a maioria dos pesquisadores concorda que a aprendizagem profunda envolve profundidade de caminho de atribuição de crédito maior que dois. O caminho de atribuição de crédito de profundidade dois demonstrou ser um aproximador universal no sentido de que pode emular qualquer função.<ref>{{Cite book|url=https://books.google.com/books?id=9CqQDwAAQBAJ&pg=PA15|title=Human Behavior and Another Kind in Consciousness: Emerging Research and Opportunities: Emerging Research and Opportunities|last=Shigeki|first=Sugiyama|date=12-04-2019|publisher=IGI Global|isbn=978-1-5225-8218-2|language=en}}</ref> Além disso, mais camadas não aumentam a capacidade de aproximação de função da rede. Modelos profundos (caminho de atribuição de crédito maior que dois) conseguem extrair melhores características do que modelos superficiais e, portanto, camadas extras ajudam a aprender as características de forma eficaz.

Arquiteturas de aprendizagem profunda podem ser construídas com um método [[Algoritmo guloso|ganancioso]] camada por camada.<ref name=BENGIO2007>{{Cite conference|first1=Yoshua|last1=Bengio|first2=Pascal|last2=Lamblin|first3=Dan|last3=Popovici|first4=Hugo|last4=Larochelle|title=Greedy layer-wise training of deep networks|year=2007|url=http://papers.nips.cc/paper/3048-greedy-layer-wise-training-of-deep-networks.pdf|conference=Advances in neural information processing systems|pages=153–160|access-date=2019-10-06|archive-date=2019-10-20|archive-url=https://web.archive.org/web/20191020195638/http://papers.nips.cc/paper/3048-greedy-layer-wise-training-of-deep-networks.pdf|url-status=live}}</ref> A aprendizagem profunda ajuda a desembaraçar essas abstrações e escolher quais recursos melhoram o desempenho.<ref name="BENGIO2012" />

Algoritmos de aprendizagem profunda podem ser aplicados a tarefas de aprendizado que não são supervisionadas. Este é um benefício importante porque dados que não são rotulados são mais abundantes do que os dados rotulados. Exemplos de estruturas profundas que podem ser treinadas de maneira que não é supervisionada são <!--[[:en:Deep belief network]]-->redes de crenças profundas.<ref name="BENGIO2012" /><ref name="SCHOLARDBNS">{{Cite journal|last1=Hinton|first1=G.E.|year=2009|title=Deep belief networks|journal=Scholarpedia|volume=4|issue=5|page=5947|doi=10.4249/scholarpedia.5947|bibcode=2009SchpJ...4.5947H|doi-access=free}}</ref>

O termo ''aprendizagem profunda'' foi introduzido na comunidade de aprendizado de máquina por <!--[[:en:Rina Dechter]]-->Rina Dechter em 1986,<ref name="dechter1986"><!--[[:en:Rina Dechter]]-->Rina Dechter (1986). Learning while searching in constraint-satisfaction problems (em inglês). University of California, Computer Science Department, Cognitive Systems Laboratory.[https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems Online] {{Webarchive|url=https://web.archive.org/web/20160419054654/https://www.researchgate.net/publication/221605378_Learning_While_Searching_in_Constraint-Satisfaction-Problems|date=2016-04-19}}</ref> e nas redes neurais artificiais por Igor Aizenberg e colegas em 2000, no contexto de neurônios de limiar <!--[[:en:Boolean network]]-->booleano.<ref name="MV_1">{{Cite book|author1=Aizenberg, I.N.|url=https://link.springer.com/book/10.1007/978-1-4757-3115-6|title=Multi-Valued and Universal Binary Neurons|author2=Aizenberg, N.N.|author3=Vandewalle, J.|date=2000|publisher=Science & Business Media|isbn=978-0-7923-7824-2|doi=10.1007/978-1-4757-3115-6|access-date=27-12-2023}}</ref><ref>Co-evolving recurrent neurons learn deep memory POMDPs (em inglês). Proc. GECCO, Washington, D. C., pp. 1795–1802, ACM Press, New York, NY, USA, 2005.</ref> Embora a história de seu surgimento seja aparentemente mais complicada.<ref>{{Cite journal|last=Fradkov|first=Alexander L.|date=2020-01-01|title=Early History of Machine Learning|journal=IFAC-PapersOnLine|series=21st IFAC World Congress|volume=53|issue=2|pages=1385–1390|doi=10.1016/j.ifacol.2020.12.1888|issn=2405-8963|s2cid=235081987|doi-access=free}}</ref>

==Interpretações==
Redes neurais profundas são geralmente interpretadas em termos do [[teorema da aproximação universal]]<ref name=cyb>{{Cite journal|last1=Cybenko|year=1989|title=Approximations by superpositions of sigmoidal functions|url=http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf|journal=<!--[[:en:Mathematics of Control, Signals, and Systems]]-->Mathematics of Control, Signals, and Systems|volume=2|issue=4|pages=303–314|doi=10.1007/bf02551274|bibcode=1989MCSS....2..303C|s2cid=3958369|urlmorta=sim|archive-url=https://web.archive.org/web/20151010204407/http://deeplearning.cs.cmu.edu/pdfs/Cybenko.pdf|archive-date=2015-10-10}}</ref><ref name=horn>{{Cite journal|last1=Hornik|first1=Kurt|year=1991|title=Approximation Capabilities of Multilayer Feedforward Networks|journal=Neural Networks|volume=4|issue=2|pages=251–257|doi=10.1016/0893-6080(91)90009-t|s2cid=7343126}}</ref><ref name="Haykin, Simon 1998">{{cite book|first=Simon S.|last=Haykin|title=Neural Networks: A Comprehensive Foundation|url={{Google books|plainurl=y|id=bX4pAQAAMAAJ}}|year=1999|publisher=Prentice Hall|isbn=978-0-13-273350-2}}</ref><ref name="Hassoun, M. 1995 p. 48">{{Cite book|first=Mohamad H.|last=Hassoun|title=Fundamentals of Artificial Neural Networks|url={{Google books|plainurl=y|id=Otk32Y3QkxQC|page=48}}|year=1995|publisher=MIT Press|isbn=978-0-262-08239-6|page=48}}</ref><ref name=ZhouLu>Lu, Z., Pu, H., Wang, F., Hu, Z., & Wang, L. (2017). [http://papers.nips.cc/paper/7203-the-expressive-power-of-neural-networks-a-view-from-the-width The Expressive Power of Neural Networks: A View from the Width] (em inglês) {{Webarchive|url=https://web.archive.org/web/20190213005539/http://papers.nips.cc/paper/7203-the-expressive-power-of-neural-networks-a-view-from-the-width|date=2019-02-13 }}. Neural Information Processing Systems, 6231-6239.</ref> ou da [[Inferência bayesiana|inferência probabilística]].<ref>{{Cite journal|last1=Orhan|first1=A. E.|last2=Ma|first2=W. J.|date=2017|title=Efficient probabilistic inference in generic neural networks trained with non-probabilistic feedback|journal=Nature Communications|volume=8|issue=1|pages=138|pmid=28743932|doi=10.1038/s41467-017-00181-8|pmc=5527101|bibcode=2017NatCo...8..138O|doi-access=free}}</ref><ref name="BOOK2014">{{Cite journal|last1=Deng|first1=L.|last2=Yu|first2=D.|year=2014|title=Deep Learning: Methods and Applications|url=http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|url-status=live|journal=Foundations and Trends in Signal Processing|volume=7|issue=3–4|pages=1–199|doi=10.1561/2000000039|archive-url=https://web.archive.org/web/20160314152112/http://research.microsoft.com/pubs/209355/DeepLearning-NowPublishing-Vol7-SIG-039.pdf|archive-date=2016-03-14|access-date=2014-10-18}}</ref><ref name="BENGIO2012" /><ref name="SCHIDHUB">{{Cite journal|last=Schmidhuber|first=J.|s2cid=11715509|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637}}</ref><ref name=MURPHY>{{Cite book|first=Kevin P.|last=Murphy|title=Machine Learning: A Probabilistic Perspective|url={{Google books|plainurl=y|id=NZP6AQAAQBAJ}}|date=24-08-2012|publisher=MIT Press|isbn=978-0-262-01802-9}}</ref>

O teorema clássico da aproximação universal diz respeito à capacidade das <!--[[:en:Feedforward neural networks]]-->redes neurais feedforward com uma única camada oculta de tamanho finito para aproximar [[Função contínua|funções contínuas]].<ref name="cyb"/><ref name="horn"/><ref name="Haykin, Simon 1998"/><ref name="Hassoun, M. 1995 p. 48"/> Em 1989, a primeira prova foi publicada por <!--[[:en:George Cybenko]]-->George Cybenko para funções de ativação [[Função sigmoide|sigmoides]]<ref name="cyb" /> e foi generalizada para arquiteturas multicamadas feed-forward em 1991 por Kurt Hornik.<ref name="horn" /> Trabalhos recentes também mostraram que a aproximação universal também é válida para funções de ativação que não são limitadas, como a <!--[[:en:Rectified linear unit]]-->unidade linear retificada (ReLU) de <!--[[:en:Kunihiko Fukushima]]-->Kunihiko Fukushima.<ref name="Fukushima1969">{{Cite journal|last1=Fukushima|first1=K.|date=1969|title=Visual feature extraction by a multilayered network of analog threshold elements|journal=IEEE Transactions on Systems Science and Cybernetics|volume=5|issue=4|pages=322–333|doi=10.1109/TSSC.1969.300225}}</ref><ref name=sonoda17>{{Cite journal|last1=Sonoda|first1=Sho|last2=Murata|first2=Noboru|s2cid=12149203|year=2017|title=Neural network with unbounded activation functions is universal approximator|journal=Applied and Computational Harmonic Analysis|volume=43|issue=2|pages=233–268|doi=10.1016/j.acha.2015.12.005|arxiv=1505.03654}}</ref>

O teorema da aproximação universal para [[#Redes neurais profundas|redes neurais profundas]] diz respeito à capacidade de redes com largura limitada, mas a profundidade pode crescer. Lu et al.<ref name=ZhouLu/> provaram que se a largura de uma rede neural profunda com ativação de <!--[[:en:Rectified linear unit]]-->unidade linear retificada (ReLU) for estritamente maior do que a dimensão de entrada, então a rede pode aproximar qualquer [[Integral de Lebesgue|função integrável de Lebesgue]]; se a largura for menor ou igual à dimensão de entrada, então uma rede neural profunda não é um aproximador universal.

A interpretação [[Probabilidade|probabilística]]<ref name="MURPHY" /> deriva do campo do [[aprendizado de máquina]]. Ela apresenta inferência,<ref name="BOOK2014" /><ref name="BENGIODEEP" /><ref name="BENGIO2012" /><ref name="SCHIDHUB" /><ref name="SCHOLARDBNS" /><ref name="MURPHY" /> bem como os conceitos de [[otimização]] de [[treinamento]] e <!--[[:en:Test (assessment)]]-->teste, relacionados ao ajuste e [[generalização]], respectivamente. Mais especificamente, a interpretação probabilística considera a não linearidade de ativação como uma [[Função distribuição acumulada|função de distribuição cumulativa]].<ref name="MURPHY" /> A interpretação probabilística levou à introdução do <!--[[:en:Dropout (neural networks)]]--> abandono (dropout) ou da diluição como <!--[[:en:Regularization (mathematics)]]-->regularizador em redes neurais. A interpretação probabilística foi introduzida por pesquisadores como [[John Hopfield|Hopfield]], [[Bernard Widrow|Widrow]], e <!--[[:en:Kumpati S. Narendra]]-->Narendra e popularizada em pesquisas como a de [[Christopher Bishop|Bishop]].<ref name="prml">{{Cite book|title=Pattern Recognition and Machine Learning|author=Bishop, Christopher M.|year=2006|publisher=Springer|url=http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf|isbn=978-0-387-31073-2|access-date=2017-08-06|archive-date=2017-01-11|archive-url=https://web.archive.org/web/20170111005101/http://users.isr.ist.utl.pt/~wurmd/Livros/school/Bishop%20-%20Pattern%20Recognition%20And%20Machine%20Learning%20-%20Springer%20%202006.pdf|url-status=live}}</ref>

==História==
===Antes de 1980===
Existem dois <!--[[:en:Types of artificial neural networks]]-->tipos de redes neurais artificiais (ANNs): <!--[[:en:Feedforward neural network]]-->redes neurais feedforward (FNNs) ou [[Perceptron multicamadas|perceptrons multicamadas]] (MLPs) e <!--[[:en:Recurrent neural network]]-->redes neurais recorrentes (RNNs). As redes neurais recorrentes têm ciclos em suas estruturas de conectividade, as redes neurais feedforward não. Na década de 1920, [[Wilhelm Lenz]] e [[Ernst Ising]] criaram o [[modelo de Ising]]<ref name="ising1925">{{Cite web|url=https://www.hs-augsburg.de/~harsch/anglica/Chronology/20thC/Ising/isi_fm00.html|title=bibliotheca Augustana|website=www.hs-augsburg.de}}</ref><ref name="brush67">{{Cite journal|doi=10.1103/RevModPhys.39.883|title=History of the Lenz-Ising Model|year=1967|last1=Brush|first1=Stephen G.|journal=Reviews of Modern Physics|volume=39|issue=4|pages=883–893|bibcode=1967RvMP...39..883B}}</ref> que é essencialmente uma arquitetura de rede neural recorrente que não é de aprendizagem consistindo de elementos de limiar semelhantes a neurônios. Em 1972, <!--[[:en:Shun'ichi Amari]]-->Shun'ichi Amari tornou essa arquitetura adaptável.<ref name="Amari1972">{{Cite journal|last1=Amari|first1=Shun-Ichi|title=Learning patterns and pattern sequences by self-organizing nets of threshold elements|journal=IEEE Transactions|date=1972|volume=C|issue=21|pages=1197–1206}}</ref><ref name="DLhistory"/> Sua rede neural recorrente de aprendizagem foi republicada por [[John Hopfield]] em 1982.<ref name="Hopfield1982">{{Cite journal|last1=Hopfield|first1=J. J.|title=Neural networks and physical systems with emergent collective computational abilities|journal=Proceedings of the National Academy of Sciences|date=1982|volume=79|issue=8|pages=2554–2558|doi=10.1073/pnas.79.8.2554|pmid=6953413|pmc=346238|bibcode=1982PNAS...79.2554H|doi-access=free}}</ref> Outras <!--[[:en:Recurrent neural network]]-->redes neurais recorrentes anteriores foram publicadas por Kaoru Nakano em 1971.<ref name="Nakano1971">{{Cite book|last1=Nakano|first1=Kaoru|chapter=Learning Process in a Model of Associative Memory|title=Pattern Recognition and Machine Learning|date=1971|pages=172–186|doi=10.1007/978-1-4615-7566-5_15|isbn=978-1-4615-7568-9}}</ref><ref name="Nakano1972">{{Cite journal|last1=Nakano|first1=Kaoru|title=Associatron-A Model of Associative Memory|journal=IEEE Transactions on Systems, Man, and Cybernetics|date=1972|volume=SMC-2|issue=3|pages=380–388|doi=10.1109/TSMC.1972.4309133}}</ref> Já em 1948, [[Alan Turing]] produziu um trabalho sobre "Maquinário Inteligente" que não foi publicado em sua vida,<ref name="turing1948">{{Cite journal|last1=Turing|first1=Alan|title=Intelligent Machinery|journal=Unpublished (Later Published in Ince DC, Editor, Collected Works of AM Turing—Mechanical Intelligence, Elsevier Science Publishers, 1992)|date=1948}}</ref> contendo "ideias relacionadas a redes neurais recorrentes de aprendizagem e evolução artificiais".<ref name="DLhistory"/>

<!--[[:en:Frank Rosenblatt]]-->Frank Rosenblatt (1958)<ref>{{Cite journal|last=Rosenblatt|first=F.|date=1958|title=The perceptron: A probabilistic model for information storage and organization in the brain.|url=https://doi.apa.org/doi/10.1037/h0042519|journal=Psychological Review|language=en|volume=65|issue=6|pages=386–408|doi=10.1037/h0042519|pmid=13602029|issn=1939-1471}}</ref> propôs a perceptron, uma perceptron multicamadas com 3 camadas: uma camada de entrada, uma camada oculta com pesos aleatórios que não aprendiam e uma camada de saída. Mais tarde, ele publicou um livro em 1962 que também introduziu experimentos de computador e variantes, incluindo uma versão com perceptrons de quatro camadas "com redes pré-terminais adaptativas" onde as duas últimas camadas aprenderam pesos (aqui ele dá créditos a H. D. Block e B. W. Knight).<ref name="rosenblatt1962">{{Cite book|last=Rosenblatt|first=Frank<!--|author-link=en:Frank Rosenblatt-->|title=Principles of Neurodynamics|publisher=Spartan, New York|year=1962}}</ref>{{Rp|secção 16}} O livro cita uma rede anterior de R. D. Joseph (1960)<ref name="joseph1960">{{Cite book|last=Joseph|first=R. D.|title=Contributions to Perceptron Theory, Cornell Aeronautical Laboratory Report No. VG-11 96--G-7, Buffalo|year=1960}}</ref> "funcionalmente equivalente a uma variação" deste sistema de quatro camadas (o livro menciona Joseph mais de 30 vezes). Joseph deve, portanto, ser considerado o criador das <!--[[:en:Multilayer perceptrons]]-->perceptrons multicamadas adaptativas com unidades ocultas de aprendizagem próprias? Infelizmente, o algoritmo de aprendizagem não era funcional e caiu no esquecimento.

O primeiro algoritmo de aprendizagem profunda funcional foi o <!--[[:en:Group method of data handling]]-->método de manipulação de dados de grupo, um método para treinar redes neurais profundas arbitrariamente, publicado por <!--[[:en:Alexey Ivakhnenko]]-->Alexey Ivakhnenko e Lapa em 1965. Eles o consideraram uma forma de regressão polinomial,<ref name="ivak1965">{{Cite book|first1=A. G.|last1=Ivakhnenko|first2=V. G.|last2=Lapa|title=Cybernetics and Forecasting Techniques|url={{Google books|plainurl=y|id=rGFgAAAAMAAJ}}|year=1967|publisher=American Elsevier Publishing Co.|isbn=978-0-444-00020-0}}</ref> ou uma generalização da perceptron de Rosenblatt.<ref>{{Cite journal|last=Ivakhnenko|first=A.G.|date=03-1970|title=Heuristic self-organization in problems of engineering cybernetics|url=https://linkinghub.elsevier.com/retrieve/pii/0005109870900920|journal=Automatica|language=en|volume=6|issue=2|pages=207–219|doi=10.1016/0005-1098(70)90092-0}}</ref> Um artigo de 1971 descreveu uma rede profunda com oito camadas treinada por este método,<ref name="ivak1971">{{Cite journal|last=Ivakhnenko|first=Alexey|date=1971|title=Polynomial theory of complex systems|url=http://gmdh.net/articles/history/polynomial.pdf|journal=IEEE Transactions on Systems, Man, and Cybernetics|pages=364–378|doi=10.1109/TSMC.1971.4308320|volume=SMC-1|issue=4|access-date=2019-11-05|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf|url-status=live}}</ref> que é baseado no treinamento de camada por camada por meio de análise de regressão. Unidades ocultas supérfluas são podadas usando um conjunto de validação separado. Como as funções de ativação dos nós são polinômios de Kolmogorov e Gabor, essas também foram as primeiras redes profundas com "portas" ou unidades multiplicativas.<ref name="DLhistory"/>

A primeira [[perceptron multicamadas]] de aprendizagem profunda treinada por <!--[[:en:Stochastic gradient descent]]-->descida de gradiente estocástica<ref name="robbins1951">{{Cite journal|last1=Robbins|first1=H.|author-link=Herbert Robbins|last2=Monro|first2=S.|doi=10.1214/aoms/1177729586|title=A Stochastic Approximation Method|journal=The Annals of Mathematical Statistics|volume=22|issue=3|pages=400|year=1951|doi-access=free}}</ref> foi publicada em 1967 por Shun'ichi Amari.<ref name="Amari1967">{{Cite journal|last1=Amari|first1=Shun'ichi<!--|author-link=en:Shun'ichi Amari-->|title=A theory of adaptive pattern classifier|journal=IEEE Transactions|date=1967|volume=EC|issue=16|pages=279–307}}</ref> Em experimentos de computador conduzidos pelo aluno de Amari, Saito, uma perceptron multicamadas de cinco camadas com duas camadas modificáveis aprendeu [[Representação de conhecimento e raciocínio|representações internas]] para classificar classes de padrões que não são separáveis linearmente.<ref name="DLhistory">{{Cite arXiv|eprint=2212.11279|class=cs.NE|first=Jürgen|last=Schmidhuber<!--|author-link=en:Jürgen Schmidhuber-->|title=Annotated History of Modern AI and Deep Learning|date=2022}}</ref> Desenvolvimentos subsequentes em ajustes de hiperparâmetros e hardware fizeram da descida de gradiente estocástica de ponta a ponta a técnica de treinamento dominante atualmente.

Em 1969, <!--[[:en:Kunihiko Fukushima]]-->Kunihiko Fukushima introduziu a <!--[[:en:Activation function]]-->função de ativação de <!--[[:en:Rectifier (neural networks)]]-->ReLU (unidade linear retificada).<ref name="Fukushima1969" /><ref name="DLhistory" /> A retificadora se tornou a função de ativação mais popular para aprendizagem profunda.<ref>{{Cite arXiv|eprint=1710.05941|class=cs.NE|first1=Prajit|last1=Ramachandran|first2=Zoph|last2=Barret|title=Searching for Activation Functions|date=16-10-2017|last3=Quoc|first3=V. Le}}</ref>

As arquiteturas de aprendizagem profunda para [[Rede neural convolucional|redes neurais convolucionais]] (CNNs) com camadas convolucionais e camadas de redução de amostragem começaram com a <!--[[:en:Neocognitron]]-->Neocognitron introduzida por Kunihiko Fukushima em 1979, embora não ter sido treinada por retropropagação.<ref name="FUKU1979">{{Cite journal|last1=Fukushima|first1=K.|year=1979|title=Neural network model for a mechanism of pattern recognition unaffected by shift in position—Neocognitron|journal=Trans. IECE (em japonês)|volume=J62-A|issue=10|pages=658–665|doi=10.1007/bf00344251|pmid=7370364|s2cid=206775608}}</ref><ref name="FUKU1980">{{Cite journal|last1=Fukushima|first1=K.|year=1980|title=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position|journal=Biol. Cybern.|volume=36|issue=4|pages=193–202|doi=10.1007/bf00344251|pmid=7370364|s2cid=206775608}}</ref>

A <!--[[:en:Backpropagation]]-->retropropagação é uma aplicação eficiente da [[Regra da cadeia|regra sequencial]] derivada por [[Gottfried Leibniz|Gottfried Wilhelm Leibniz]] em 1673<ref name="leibniz1676">{{Cite book|last=Leibniz|first=Gottfried Wilhelm Freiherr von|url=https://books.google.com/books?id=bOIGAAAAYAAJ&q=leibniz+altered+manuscripts&pg=PA90|title=The Early Mathematical Manuscripts of Leibniz: Translated from the Latin Texts Published by Carl Immanuel Gerhardt with Critical and Historical Notes (Leibniz published the chain rule in a 1676 memoir)|date=1920|publisher=Open court publishing Company|isbn=9780598818461|language=en}}</ref> para redes de nós diferenciáveis. A terminologia "erros de retropropagação" foi realmente introduzida em 1962 por Rosenblatt,<ref name="rosenblatt1962" /> mas ele não sabia como implementar isso, embora <!--[[:en:Henry J. Kelley]]-->Henry J. Kelley tivesse um precursor contínuo da retropropagação em 1960 no contexto da [[teoria de controle]].<ref name="kelley1960">{{Cite journal|last1=Kelley|first1=Henry J.<!--|author-link=en:Henry J. Kelley-->|year=1960|title=Gradient theory of optimal flight paths|journal=ARS Journal|volume=30|issue=10|pages=947–954|doi=10.2514/8.5282}}</ref> A forma moderna de retropropagação foi publicada pela primeira vez na tese de mestrado de <!--[[:en:Seppo Linnainmaa]]-->Seppo Linnainmaa (1970).<ref name="lin19703">{{Cite thesis|first=Seppo|last=Linnainmaa<!--|author-link=en:Seppo Linnainmaa-->|year=1970|type=Masters|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|language=fi|publisher=University of Helsinki|page=6–7}}</ref><ref name="lin19763">{{Cite journal|last1=Linnainmaa|first1=Seppo<!--|author-link=en:Seppo Linnainmaa-->|year=1976|title=Taylor expansion of the accumulated rounding error|journal=BIT Numerical Mathematics|volume=16|issue=2|pages=146–160|doi=10.1007/bf01931367|s2cid=122357351}}</ref><ref name="DLhistory" /> G.M. Ostrovski et al. republicaram em 1971.<ref name="ostrowski1971">Ostrovski, G.M., Volin,Y.M., and Boris, W.W. (1971). On the computation of derivatives (em inglês). Wiss. Z. Tech. Hochschule for Chemistry, 13:382–384.</ref><ref name="backprop"/> <!--[[:en:Paul Werbos]]-->Paul Werbos aplicou a retropropagação às redes neurais em 1982<ref name="werbos1982">{{Cite book|last=Werbos|first=Paul<!--|author-link=en:Paul Werbos-->|title=System modeling and optimization|publisher=Springer|year=1982|pages=762–770|chapter=Applications of advances in nonlinear sensitivity analysis|access-date=02-07-2017|chapter-url=http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|archive-url=https://web.archive.org/web/20160414055503/http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf|archive-date=2016-04-14|url-status=live}}</ref> (sua tese de doutorado de 1974, reimpressa em um livro de 1994,<ref name="werbos1974">{{Cite book|last=Werbos|first=Paul J.|title=The Roots of Backpropagation : From Ordered Derivatives to Neural Networks and Political Forecasting|location=New York|publisher=John Wiley & Sons|year=1994|isbn=0-471-59897-6}}</ref> ainda não descreveu o algoritmo<ref name="backprop">{{Cite web|last=Schmidhuber|first=Juergen|title=Who Invented Backpropagation?<!--|author-link=en:Juergen Schmidhuber-->|publisher=IDSIA, Switzerland|url=https://people.idsia.ch/~juergen/who-invented-backpropagation.html|date=25-10-2014|access-date=14-09-2024|archive-url=http://web.archive.org/web/20240730110408/https://people.idsia.ch/~juergen/who-invented-backpropagation.html|archive-date=2024-07-30|quote=}}</ref>). Em 1986, [[David Rumelhart|David E. Rumelhart]] et al. popularizaram a retropropagação, mas não citaram o trabalho original.<ref>{{Cite journal|last1=Rumelhart|first1=David E.|last2=Hinton|first2=Geoffrey E.|last3=Williams|first3=Ronald J.|date=10-1986|title=Learning representations by back-propagating errors|url=https://www.nature.com/articles/323533a0|journal=Nature|language=en|volume=323|issue=6088|pages=533–536|doi=10.1038/323533a0|bibcode=1986Natur.323..533R|issn=1476-4687}}</ref><ref name="rumelhart1986">Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "[https://apps.dtic.mil/dtic/tr/fulltext/u2/a164453.pdf Learning Internal Representations by Error Propagation] (em inglês ) {{Webarchive|url=https://web.archive.org/web/20221013070443/https://apps.dtic.mil/dtic/tr/fulltext/u2/a164453.pdf|date=2022-10-13 }}". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition (em inglês), Volume 1: Foundation. MIT Press, 1986.</ref>

===Décadas de 1980 a 2000===
A <!--[[:en:Time delay neural network]]-->rede neural de atraso de tempo (TDNN) foi introduzida em 1987 por <!--[[:en:Alex Waibel]]-->Alex Waibel para aplicar rede neural convolucional ao reconhecimento de fonemas. Ela usava convoluções, compartilhamento de peso e retropropagação.<ref name=Waibel1987>{{Cite conference|title=Phoneme Recognition Using Time-Delay Neural Networks|last1=Waibel|first1=Alex|date=12-1987|location=Tokyo, Japan|conference=Meeting of the Institute of Electrical, Information and Communication Engineers (IEICE)|url=https://isl.anthropomatik.kit.edu/pdf/Waibel1987a.pdf}}</ref><ref name="speechsignal"><!--[[:en:Alex Waibel|]]-->Alexander Waibel et al., ''[http://www.inf.ufrgs.br/~engel/data/media/file/cmp121/waibel89_TDNN.pdf Phoneme Recognition Using Time-Delay Neural Networks]'', IEEE Transactions on Acoustics, Speech, and Signal Processing, Volume 37, No. 3, pp. 328. – 339 03-1989.</ref> Em 1988, Wei Zhang aplicou uma rede neural convolucional treinada em retropropagação ao reconhecimento de alfabeto.<ref name="wz1988">{{Cite journal|last=Zhang|first=Wei|date=1988|title=Shift-invariant pattern recognition neural network and its optical architecture|url=https://drive.google.com/file/d/1nN_5odSG_QVae54EsQN_qSz-0ZsX6wA0/view?usp=sharing|journal=Proceedings of Annual Conference of the Japan Society of Applied Physics}}</ref> Em 1989, [[Yann LeCun]] et al. criaram uma rede neural convolucional chamada <!--[[:en:LeNet]]-->LeNet para <!--[[:en:Handwriting recognition]]-->reconhecer códigos postais manuscritos em correspondências. O treinamento levou 3 dias.<ref name="LECUN1989"> LeCun ''et al.'', "Backpropagation Applied to Handwritten Zip Code Recognition", ''Neural Computation'', 1, pp. 541–551, 1989.</ref> Em 1990, Wei Zhang implementou uma rede neural convolucional em hardware de [[computação óptica]].<ref name="wz1990">{{Cite journal|last=Zhang|first=Wei|date=1990|title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing|journal=Applied Optics|volume=29|issue=32|pages=4790–7|bibcode=1990ApOpt..29.4790Z|doi=10.1364/AO.29.004790|pmid=20577468}}</ref> Em 1991, uma rede neural convolucional foi aplicada à segmentação de objetos de imagens médicas<ref>{{Cite journal|last=Zhang|first=Wei|date=1991|title=Image processing of human corneal endothelium based on a learning network|url=https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing|journal=Applied Optics|volume=30|issue=29|pages=4211–7|bibcode=1991ApOpt..30.4211Z|doi=10.1364/AO.30.004211|pmid=20706526}}</ref> e à detecção de câncer de mama em mamografias.<ref>{{cite journal|last=Zhang|first=Wei|date=1994|title=Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing|journal=Medical Physics|volume=21|issue=4|pages=517–24|bibcode=1994MedPh..21..517Z|doi=10.1118/1.597177|pmid=8058017}}</ref> A <!--[[:en:Handwriting recognition]]-->LeNet-5 (1998), uma rede neural convolucional de 7 níveis de [[Yann LeCun]] et al., que classifica dígitos, foi aplicada por vários bancos para reconhecer números manuscritos em cheques digitalizados em imagens de 32x32 pixels.<ref name="lecun98">{{Cite journal|last=LeCun|first=Yann|author2=Léon Bottou|author3=Yoshua Bengio|author4=Patrick Haffner|year=1998|title=Gradient-based learning applied to document recognition|url=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf|journal=Proceedings of the IEEE|volume=86|issue=11|pages=2278–2324|citeseerx=10.1.1.32.9552|doi=10.1109/5.726791|s2cid=14542261|access-date=07-10-2016}}</ref>

As <!--[[:en:Recurrent neural network]]-->redes neurais recorrentes (RNNs)<ref name="ising1925"/><ref name="Amari1972"/> foram desenvolvidas ainda mais na década de 1980. A recorrência é usada para processamento de sequências e, quando uma rede recorrente é desenrolada, ela se assemelha matematicamente a uma camada de feedforward profunda. Consequentemente, elas têm propriedades e problemas semelhantes, e seus desenvolvimentos tiveram influências mútuas. Em redes neurais recorrentes, dois primeiros trabalhos influentes foram a <!--[[:en:Recurrent neural network#Elman networks and Jordan networks]]-->rede de Jordan (1986)<ref>{{Cite journal|last=Jordan|first=Michael I.|date=1986|title=Attractor dynamics and parallelism in a connectionist sequential machine|url=https://escholarship.org/uc/item/1fg2j76h|journal=Proceedings of the Annual Meeting of the Cognitive Science Society|language=en|volume=8 }}</ref> e a <!--[[:en:Recurrent neural network#Elman networks and Jordan networks]]-->rede de Elman (1990),<ref>{{Cite journal|last=Elman|first=Jeffrey L.|date=03-1990|title=Finding Structure in Time|url=https://onlinelibrary.wiley.com/doi/10.1207/s15516709cog1402_1|journal=Cognitive Science|language=en|volume=14|issue=2|pages=179–211|doi=10.1207/s15516709cog1402_1|issn=0364-0213}}</ref> que aplicaram redes neurais recorrentes para estudar problemas em [[psicologia cognitiva]].

Na década de 1980, a retropropagação não funcionou bem para aprendizagem profunda com longos caminhos de atribuição de crédito. Para superar esse problema, em 1991, <!--[[:en:Jürgen Schmidhuber]]-->Jürgen Schmidhuber propôs uma hierarquia de redes neurais recorrentes pré-treinadas um nível de cada vez por <!--[[:en:Self-supervised learning]]-->aprendizado autossupervisionado, onde cada rede neural recorrente tenta prever sua própria próxima entrada, que é a próxima entrada inesperada da rede neural recorrente abaixo.<ref name="chunker1991">{{Cite journal|last1=Schmidhuber|first1=Jürgen|date=04-1991|title=Neural Sequence Chunkers<!--|author-link=en:Jürgen Schmidhuber-->|url=https://people.idsia.ch/~juergen/FKI-148-91ocr.pdf|journal=TR FKI-148, TU Munich}}</ref><ref name="schmidhuber1992">{{Cite journal|last1=Schmidhuber|first1=Jürgen|year=1992|title=Learning complex, extended sequences using the principle of history compression (based on TR FKI-148, 1991)|url=https://sferics.idsia.ch/pub/juergen/chunker.pdf|journal=Neural Computation|volume=4|issue=2|pages=234–242|doi=10.1162/neco.1992.4.2.234|s2cid=18271205 }}</ref> Este "compressor de histórico neural" usa [[codificação preditiva]] para aprender [[Representação de conhecimento e raciocínio|representações internas]] em múltiplas escalas de tempo auto-organizadas. Isso pode facilitar substancialmente a aprendizagem profunda a jusante. A hierarquia da rede neural recorrente pode ser ''colapsada'' em uma única rede neural recorrente, <!--[[:en:Knowledge distillation]]-->destilando uma rede ''fragmentadora'' de nível superior em uma rede ''automatizadora'' de nível inferior.<ref name="chunker1991" /><ref name="schmidhuber1992" /><ref name=DLhistory/> Em 1993, um compressor de histórico neural resolveu uma tarefa de "aprendizagem muito profunda" que exigia mais de 1000 <!--[[:en:Layer (deep learning)]]-->camadas subsequentes em uma rede neural recorrente desdobrada no tempo.<ref name="schmidhuber1993">{{Cite book|last=Schmidhuber|first=Jürgen|url=https://sferics.idsia.ch/pub/juergen/habilitation.pdf|archive-url=https://web.archive.org/web/20220516075450/https://sferics.idsia.ch/pub/juergen/habilitation.pdf|urlmorta=sim|archive-date=2022-05-16|title=Habilitation thesis: System modeling and optimization|year=1993}} As páginas 150 e seguintes demonstram a atribuição de crédito em um equivalente a 1.200 camadas em uma rede neural recorrente desdobrada.</ref> O "P" em [[ChatGPT]] se refere a esse pré-treinamento.

A tese de diploma de <!--[[:en:Sepp Hochreiter]]-->Sepp Hochreiter (1991)<ref name="HOCH1991">S. Hochreiter., "[http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf Untersuchungen zu dynamischen neuronalen Netzen]". {{Webarchive|url=https://web.archive.org/web/20150306075401/http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf|date=2015-03-06 }}. ''Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber'', 1991.</ref> implementou o compressor de história neural,<ref name="chunker1991" /> e identificou e analisou o <!--[[:en:Vanishing gradient problem]]-->problema do gradiente de desaparecimento.<ref name="HOCH1991" /><ref name="HOCH2001">{{Cite book|chapter-url={{Google books|plainurl=y|id=NWOcMVA64aAC}}|title=A Field Guide to Dynamical Recurrent Networks|last=Hochreiter|first=S.|display-authors=etal|date=15-01-2001|publisher=John Wiley & Sons|isbn=978-0-7803-5369-5|chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|editor-last2=Kremer|editor-first2=Stefan C.|editor-first1=John F.|editor-last1=Kolen}}</ref> Hochreiter propôs conexões <!--[[:en:Residual neural network]]-->residuais recorrentes para resolver o problema do gradiente de desaparecimento. Isso levou à [[Long short-term memory|memória de curto prazo longa]] (LSTM), publicada em 1995.<ref>{{Cite Q|Q98967430}}</ref> A memória de curto prazo longa pode aprender tarefas de "aprendizagem muito profunda"<ref name="SCHIDHUB" /> com longos caminhos de atribuição de crédito que exigem memórias de eventos que aconteceram milhares de passos de tempo discretos antes. Essa memória de curto prazo longa ainda não era a arquitetura moderna, que exigia uma "portão de esquecimento", introduzido em 1999,<ref name="lstm1999">{{Cite book|doi=10.1049/cp:19991218|chapter=Learning to forget: Continual prediction with LSTM|title=9th International Conference on Artificial Neural Networks: ICANN '99|volume=1999|pages=850–855|year=1999|last1=Gers|first1=Felix|last2=Schmidhuber|first2=Jürgen|last3=Cummins|first3=Fred|isbn=0-85296-721-7}}</ref> que se tornou a arquitetura de rede neural recorrente padrão.

Em 1991, <!--[[:en:Jürgen Schmidhuber]]-->Jürgen Schmidhuber também publicou redes neurais adversárias que competem entre si na forma de um [[Soma-zero|jogo de soma zero]], onde o ganho de uma rede é a perda da outra rede.<ref name="curiosity1991">{{Cite conference|title=A possibility for implementing curiosity and boredom in model-building neural controllers|last1=Schmidhuber|first1=Jürgen <!--|author-link=en:Jürgen Schmidhuber-->|date=1991|publisher=MIT Press/Bradford Books|book-title=Proc. SAB'1991|pages=222–227}}</ref><ref name="fun2010">{{Cite journal|last1=Schmidhuber|first1=Jürgen<!--|author-link=en:Jürgen Schmidhuber-->|year=2010|title=Formal Theory of Creativity, Fun, and Intrinsic Motivation (1990-2010)|journal=IEEE Transactions on Autonomous Mental Development|volume=2|issue=3|pages=230–247|doi=10.1109/TAMD.2010.2056368|s2cid=234198 }}</ref> A primeira rede é um <!--[[:en:Generative model]]-->modelo generativo que modela uma [[distribuição de probabilidade]] sobre padrões de saída. A segunda rede aprende por [[Método do gradiente|descida do gradiente]] para prever as reações do ambiente a esses padrões. Isso foi chamado de "curiosidade artificial". Em 2014, esse princípio foi usado em <!--[[:en:Generative adversarial network]]-->redes adversárias generativas (GANs).<ref name="gancurpm2020">{{Cite journal|last=Schmidhuber|first=Jürgen<!--|author-link=en:Jürgen Schmidhuber-->|date=2020|title=Generative Adversarial Networks are Special Cases of Artificial Curiosity (1990) and also Closely Related to Predictability Minimization (1991)|journal=Neural Networks|language=en|volume=127|pages=58–66|doi=10.1016/j.neunet.2020.04.008|pmid=32334341|arxiv=1906.04493|s2cid=216056336 }}</ref>

Durante 1985–1995, inspirados pela mecânica estatística, várias arquiteturas e métodos foram desenvolvidos por <!--[[:en:Terry Sejnowski]]-->Terry Sejnowski, <!--[[:en:Peter Dayan]]-->Peter Dayan, [[Geoffrey Hinton]], etc., incluindo a <!--[[:en:Boltzmann machine]]-->máquina de Boltzmann,<ref>{{Cite journal|last1=Ackley|first1=David H.|last2=Hinton|first2=Geoffrey E.|last3=Sejnowski|first3=Terrence J.|date=1985-01-01|title=A learning algorithm for boltzmann machines|url=https://www.sciencedirect.com/science/article/pii/S0364021385800124|journal=Cognitive Science|volume=9|issue=1|pages=147–169|doi=10.1016/S0364-0213(85)80012-4|issn=0364-0213}}</ref> a <!--[[:en:Restricted Boltzmann machine]]-->máquina de Boltzmann restrita,<ref>{{Cite book|last=Smolensky|first=Paul|title=Parallel Distributed Processing: Explorations in the Microstructure of Cognition, Volume 1: Foundations|títulolink=Conexionismo|publisher=MIT Press|year=1986|isbn=0-262-68053-X|editor1-last=Rumelhart|editor1-first=David E.|pages=[https://archive.org/details/paralleldistribu00rume/page/194 194–281]|chapter=Chapter 6: Information Processing in Dynamical Systems: Foundations of Harmony Theory|editor2-last=McLelland|editor2-first=James L.|chapter-url=https://stanford.edu/~jlmcc/papers/PDP/Volume%201/Chap6_PDP86.pdf}}</ref> a <!--[[:en:Helmholtz machine]]-->máquina de Helmholtz,<ref name="nc95">{{Cite journal|last1=Peter|first1=Dayan|last2=Hinton|first2=Geoffrey E.|last3=Neal|first3=Radford M.|last4=Zemel|first4=Richard S.|date=1995|title=The Helmholtz machine.|journal=Neural Computation|volume=7|issue=5|pages=889–904|doi=10.1162/neco.1995.7.5.889|pmid=7584891|s2cid=1890561|hdl-access=free <!--|author-link1=en:Peter Dayan-->|author-link2=Geoffrey Hinton<!--|author-link3=en:Radford M. Neal|author-link4=en:Richard Zemel-->|hdl=21.11116/0000-0002-D6D3-E}} {{Acesso fechado}}</ref> e o <!--[[:en:Wake-sleep algorithm]]-->algoritmo de vigília e sono.<ref name=":1">{{Cite journal|last1=Hinton|first1=Geoffrey E.|author-link=Geoffrey Hinton|last2=Dayan|first2=Peter|last3=Frey|first3=Brendan J.|last4=Neal|first4=Radford|date=1995-05-26|title=The wake-sleep algorithm for unsupervised neural networks|journal=Science|volume=268|issue=5214|pages=1158–1161|bibcode=1995Sci...268.1158H|doi=10.1126/science.7761831|pmid=7761831|s2cid=871473 <!--|author-link2=en:Peter Dayan|author-link3=en:Brendan Frey-->}}</ref> Eles foram projetados para aprendizado que não é supervisionado de modelos generativos profundos. No entanto, esses eram mais caros computacionalmente em comparação com a retropropagação. O algoritmo de aprendizado de máquina de Boltzmann, publicado em 1985, foi brevemente popular antes de ser eclipsado pelo algoritmo de retropropagação em 1986. (p.&nbsp;112 <ref>{{Cite book|last=Sejnowski|first=Terrence J.|title=The deep learning revolution|date=2018|publisher=The MIT Press|isbn=978-0-262-03803-4|location=Cambridge, Massachusetts}}</ref>). Uma rede de 1988 se tornou o estado da arte na <!--[[:en:Protein structure prediction]]-->predição das estruturas de proteínas, uma aplicação inicial da aprendizagem profunda à bioinformática.<ref>{{Cite journal|last1=Qian|first1=Ning|last2=Sejnowski|first2=Terrence J.|date=1988-08-20|title=Predicting the secondary structure of globular proteins using neural network models|url=https://dx.doi.org/10.1016/0022-2836%2888%2990564-5|journal=Journal of Molecular Biology|volume=202|issue=4|pages=865–884|doi=10.1016/0022-2836(88)90564-5|pmid=3172241|issn=0022-2836}}</ref>

Tanto a aprendizagem superficial quanto a profunda (por exemplo, redes recorrentes) de redes neurais artificiais para [[reconhecimento de fala]] têm sido explorados por muitos anos.<ref>{{Cite journal|last1=Morgan|first1=Nelson|last2=Bourlard|first2=Hervé|last3=Renals|first3=Steve|last4=Cohen|first4=Michael|last5=Franco|first5=Horacio|date=01-08-1993|title=Hybrid neural network/hidden markov model systems for continuous speech recognition|journal=International Journal of Pattern Recognition and Artificial Intelligence|volume=07|issue=4|pages=899–916|doi=10.1142/s0218001493000455|issn=0218-0014}}</ref><ref name="Robinson1992">{{Cite journal|last=Robinson|first=T.<!--|author-link=en:Tony Robinson (speech recognition)-->|date=1992|title=A real-time recurrent error propagation network word recognition system|url=http://dl.acm.org/citation.cfm?id=1895720|journal=ICASSP|pages=617–620|isbn=9780780305328|series=Icassp'92|access-date=2017-06-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123135/https://dl.acm.org/doi/10.5555/1895550.1895720|url-status=live}}</ref><ref>{{Cite journal|last1=Waibel|first1=A.|last2=Hanazawa|first2=T.|last3=Hinton|first3=G.|last4=Shikano|first4=K.|last5=Lang|first5=K. J.|date=03-1989|title=Phoneme recognition using time-delay neural networks|journal=IEEE Transactions on Acoustics, Speech, and Signal Processing|volume=37|issue=3|pages=328–339|doi=10.1109/29.21701|issn=0096-3518|hdl=10338.dmlcz/135496|s2cid=9563026|url=http://dml.cz/bitstream/handle/10338.dmlcz/135496/Kybernetika_38-2002-6_2.pdf|access-date=2019-09-24|archive-date=2021-04-27|archive-url=https://web.archive.org/web/20210427001446/https://dml.cz/bitstream/handle/10338.dmlcz/135496/Kybernetika_38-2002-6_2.pdf|url-status=live}}</ref> Esses métodos nunca superaram a tecnologia do [[Modelo mistura|modelo de mistura]] gaussiana/[[Modelo oculto de Markov|modelo de Markov oculto]] (GMM-HMM) manual interno que não é uniforme baseada em modelos generativos de fala treinados discriminativamente.<ref name="Baker2009">{{Cite journal|last1=Baker|first1=J.|last2=Deng|first2=Li|last3=Glass|first3=Jim|last4=Khudanpur|first4=S.|last5=Lee|first5=C.-H.|last6=Morgan|first6=N.|last7=O'Shaughnessy|first7=D.|year=2009|title=Research Developments and Directions in Speech Recognition and Understanding, Part 1|journal=IEEE Signal Processing Magazine|volume=26|issue=3|pages=75–80|doi=10.1109/msp.2009.932166|bibcode=2009ISPM...26...75B|hdl=1721.1/51891|s2cid=357467 }}</ref> As principais dificuldades foram analisadas, incluindo a diminuição de gradiente<ref name="HOCH1991" /> e a estrutura de correlação temporal fraca em modelos preditivos neurais.<ref name="Bengio1991">{{Cite web|url=https://www.researchgate.net/publication/41229141|title=Artificial Neural Networks and their Application to Speech/Sequence Recognition|last=Bengio|first=Y.|date=1991|publisher=McGill University Ph.D. thesis|access-date=2017-06-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123131/https://www.researchgate.net/publication/41229141_Artificial_neural_networks_and_their_application_to_sequence_recognition|url-status=live}}</ref><ref name="Deng1994">{{Cite journal|last1=Deng|first1=L.|last2=Hassanein|first2=K.|last3=Elmasry|first3=M.|year=1994|title=Analysis of correlation structure for a neural predictive model with applications to speech recognition|journal=Neural Networks|volume=7|issue=2|pages=331–339|doi=10.1016/0893-6080(94)90027-2}}</ref> Dificuldades adicionais foram a falta de dados de treinamento e poder de computação limitado.

A maioria dos pesquisadores de [[reconhecimento de fala]] se afastou das redes neurais para buscar modelagem generativa. Uma exceção foi no [[SRI International]] no final da década de 1990. Financiado pela [[NSA]] e pela [[DARPA]] do governo dos EUA, o SRI pesquisou em reconhecimentos de fala e falante. A equipe de reconhecimento de falante liderada por <!--[[:en:Larry Heck]]-->Larry Heck relatou sucesso significativo com redes neurais profundas no processamento de fala no benchmark de reconhecimento de falante do [[NIST]] de 1998.<ref name="Doddington2000">{{Cite journal|last1=Doddington|first1=G.|last2=Przybocki|first2=M.|last3=Martin|first3=A.|last4=Reynolds|first4=D.|year=2000|title=The NIST speaker recognition evaluation ± Overview, methodology, systems, results, perspective|journal=Speech Communication|volume=31|issue=2|pages=225–254|doi=10.1016/S0167-6393(99)00080-1}}</ref><ref name="Heck2000">{{Cite journal|last1=Heck|first1=L.|last2=Konig|first2=Y.|last3=Sonmez|first3=M.|last4=Weintraub|first4=M.|year=2000|title=Robustness to Telephone Handset Distortion in Speaker Recognition by Discriminative Feature Design|journal=Speech Communication|volume=31|issue=2|pages=181–192|doi=10.1016/s0167-6393(99)00077-1}}</ref> Foi implantado no Nuance Verifier, representando a primeira grande aplicação industrial da aprendizagem profunda.<ref>L.P Heck and R. Teunen. "Secure and Convenient Transactions with Nuance Verifier". Nuance Users Conference, April 1998.</ref>

O princípio de elevar características "brutas" sobre otimização manual foi explorado pela primeira vez com sucesso na arquitetura do autocodificador profundo nas características de [[Banco de filtros|bancos de filtros]] lineares ou espectrogramas "brutos" no final da década de 1990,<ref name="Heck2000" /> mostrando sua superioridade sobre as características <!--[[:en:Mel-frequency cepstrum]]-->Mel-Cepstrais que contêm estágios de transformações fixas a partir de espectrogramas. As características brutas da fala, as [[Forma de onda|formas das ondas]], mais tarde produziram excelentes resultados em larga escala.<ref>{{Cite web|url=https://www.researchgate.net/publication/266030526|title=Acoustic Modeling with Deep Neural Networks Using Raw Time Signal for LVCSR (PDF Download Available)|website=ResearchGate|access-date=14-06-2017|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123218/https://www.researchgate.net/publication/266030526_Acoustic_Modeling_with_Deep_Neural_Networks_Using_Raw_Time_Signal_for_LVCSR|url-status=live}}</ref>

===Décadas de 2000===
As redes neurais entraram em declínio, e modelos mais simples que usam recursos artesanais específicos para tarefas, como <!--[[:en:Gabor filter]]-->filtros de Gabor e [[Máquina de vetores de suporte|máquinas de vetores de suporte]] (SVMs), tornaram-se as escolhas preferidas nas décadas de 1990 e 2000, devido ao custo computacional das redes neurais artificiais e à falta de compreensão de como o cérebro conecta suas redes biológicas.<!---->

Em 2003, a memória de curto prazo longa tornou-se competitiva com os reconhecedores de fala tradicionais em certas tarefas.<ref name="graves2003">{{Cite web|last1=Graves|first1=Alex|last2=Eck|first2=Douglas|last3=Beringer|first3=Nicole|last4=Schmidhuber|first4=Jürgen|date=2003|title=Biologically Plausible Speech Recognition with LSTM Neural Nets|url=ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf|url-status=live|archive-url=https://web.archive.org/web/20210509123139/ftp://ftp.idsia.ch/pub/juergen/bioadit2004.pdf|archive-date=2021-05-09|access-date=2016-04-09|website=1st Intl. Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland|pages=175–184}}</ref> Em 2006, <!--[[:en:Alex Graves (computer scientist)]]-->Alex Graves, Santiago Fernández, Faustino Gomez e Schmidhuber combinaram-na com a <!--[[:en:Connectionist temporal classification]]-->classificação temporal conexionista (CTC)<ref name="graves2006">{{Cite journal|last1=Graves|first1=Alex<!--|author1-link=en:Alex Graves (computer scientist)-->|last2=Fernández|first2=Santiago|last3=Gomez|first3=Faustino|last4=Schmidhuber|first4=Jürgen<!--|author4-link=en:Jürgen Schmidhuber-->|date=2006|title=Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural networks|journal=Proceedings of the International Conference on Machine Learning, ICML 2006|pages=369–376|citeseerx=10.1.1.75.6306}}</ref> em pilhas de memórias de curto prazo longas.<ref name="fernandez2007keyword">Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). [https://mediatum.ub.tum.de/doc/1289941/file.pdf An application of recurrent neural networks to discriminative keyword spotting] {{Webarchive|url=https://web.archive.org/web/20181118164457/https://mediatum.ub.tum.de/doc/1289941/file.pdf|date=2018-11-18}}. Proceedings of ICANN (2), pp. 220–229.</ref> Em 2009, tornou-se a primeira rede neural recorrente a vencer um concurso de [[reconhecimento de padrões]], em <!--[[:en:Handwriting recognition]]-->reconhecimento de escrita manual conectada.<ref>Graves, Alex; & Schmidhuber, Jürgen; ''Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks'', in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), ''Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC'', Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545–552</ref><ref name="SCHIDHUB" />

Em 2006, publicações de [[Geoffrey Hinton|Geoff Hinton]], <!--[[:en:Russ Salakhutdinov]]-->Ruslan Salakhutdinov, Osindero e <!--[[:en:Yee Whye Teh]]-->Teh<ref>{{Cite journal|last=Hinton|first=Geoffrey E.|date=01-10-2007|title=Learning multiple layers of representation|url=http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3|url-status=live|journal=Trends in Cognitive Sciences|volume=11|issue=10|pages=428–434|doi=10.1016/j.tics.2007.09.004|issn=1364-6613|pmid=17921042|s2cid=15066318|archive-url=https://web.archive.org/web/20131011071435/http://www.cell.com/trends/cognitive-sciences/abstract/S1364-6613(07)00217-3|archive-date=2013-10-11|access-date=12-06-2017}}</ref><ref name="hinton06">{{Cite journal|last1=Hinton|first1=G. E.|author-link1=Geoffrey Hinton|last2=Osindero|first2=S.|last3=Teh|first3=Y. W.|year=2006|title=A Fast Learning Algorithm for Deep Belief Nets|url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|url-status=live|journal=<!--[[:en:Neural Computation (journal)|]]-->Neural Computation|volume=18|issue=7|pages=1527–1554|doi=10.1162/neco.2006.18.7.1527|pmid=16764513|s2cid=2309950|archive-url=https://web.archive.org/web/20151223164129/http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|archive-date=2015-12-23|access-date=2011-07-20}}</ref> <!--[[:en:Deep belief network]]-->redes de crenças profundas foram desenvolvidas para modelagem generativa. Elas são treinadas treinando uma máquina de Boltzmann restrita, então congelando-a e treinando outra em cima da primeira, e assim por diante, então opcionalmente <!--[[:en:Fine-tuning (deep learning)]]-->ajustadas usando retropropagação supervisionada.<ref name="HINTON2007">G. E. Hinton., "[http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf Learning multiple layers of representation]". {{Webarchive|url=https://web.archive.org/web/20180522112408/http://www.csri.utoronto.ca/~hinton/absps/ticsdraft.pdf|date=2018-05-22}}. ''Trends in Cognitive Sciences'', 11, pp. 428–434, 2007.</ref> Elas poderiam modelar distribuições de probabilidade de alta dimensão, como a distribuição de imagens do [[Banco de dados MNIST|Banco de dados do Instituto Nacional de Padrões e Tecnologia  modificado]] (MNIST), mas a convergência era lenta.<ref>{{Cite journal|last=Hinton|first=Geoffrey E.|date=10-2007|title=Learning multiple layers of representation|url=https://linkinghub.elsevier.com/retrieve/pii/S1364661307002173|journal=Trends in Cognitive Sciences|language=en|volume=11|issue=10|pages=428–434|doi=10.1016/j.tics.2007.09.004|pmid=17921042 }}</ref><ref>{{Cite journal|last1=Hinton|first1=Geoffrey E.|last2=Osindero|first2=Simon|last3=Teh|first3=Yee-Whye|date=07-2006|title=A Fast Learning Algorithm for Deep Belief Nets|url=https://direct.mit.edu/neco/article/18/7/1527-1554/7065|journal=Neural Computation|language=en|volume=18|issue=7|pages=1527–1554|doi=10.1162/neco.2006.18.7.1527|pmid=16764513|issn=0899-7667}}</ref><ref>{{Cite journal|last=Hinton|first=Geoffrey E.|date=2009-05-31|title=Deep belief networks|journal=Scholarpedia|language=en|volume=4|issue=5|pages=5947|doi=10.4249/scholarpedia.5947|doi-access=free|bibcode=2009SchpJ...4.5947H|issn=1941-6016}}</ref>

O impacto da aprendizagem profunda na indústria começou no início dos anos 2000, quando as redes neurais convolucionais já processavam cerca de 10% a 20% de todos os cheques emitidos nos EUA, de acordo com Yann LeCun.<ref name="lecun2016slides">[[Yann LeCun]] (2016). Slides on Deep Learning [https://indico.cern.ch/event/510372/ Online] {{Webarchive|url=https://web.archive.org/web/20160423021403/https://indico.cern.ch/event/510372/|date=2016-04-23}}</ref> As aplicações industriais da aprendizagem profunda para reconhecimento de fala em larga escala começaram por volta de 2010.

A Oficina sobre Sistemas de Processamento de Informações Neurais (NIPS) de 2009 sobre Aprendizagem Profunds para Reconhecimento de Fala foi motivada pelas limitações de modelos generativos profundos de fala e pela possibilidade de que, dado hardware mais capaz e conjuntos de dados em larga escala, as redes neurais profundas pudessem se tornar práticas. Acreditava-se que o pré-treinamento de redes neurais profundas usando modelos generativos de redes de crenças profundas superaria as principais dificuldades das redes neurais. No entanto, descobriu-se que a substituição do pré-treinamento por grandes quantidades de dados de treinamento para retropropagação direta ao usar redes neurais profundas com grandes camadas de saída dependentes do contexto produzia taxas de erros dramaticamente menores do que o modelo de mistura gaussiana/modelo de Markov oculto de então última geração e também do que sistemas baseados em modelos generativos mais avançados.<ref name="HintonDengYu2012">{{Cite journal|last1=Hinton|first1=G.|last2=Deng|first2=L.|last3=Yu|first3=D.|last4=Dahl|first4=G.|last5=Mohamed|first5=A.|last6=Jaitly|first6=N.|last7=Senior|first7=A.|last8=Vanhoucke|first8=V.|last9=Nguyen|first9=P.|last10=Sainath|first10=T.<!--|author10-link=en:Tara Sainath-->|last11=Kingsbury|first11=B.|year=2012|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition: The Shared Views of Four Research Groups|journal=IEEE Signal Processing Magazine|volume=29|issue=6|pages=82–97|doi=10.1109/msp.2012.2205597|bibcode=2012ISPM...29...82H|s2cid=206485943 }}</ref> A natureza dos erros de reconhecimento produzidos pelos dois tipos de sistemas era caracteristicamente diferente,<ref name="ReferenceICASSP2013" /> oferecendo percepções técnicas sobre como integrar a aprendizagem profunda no sistema de decodificação de fala altamente eficiente e em tempo de execução existente, implantado por todos os principais sistemas de reconhecimento de fala.<ref name="BOOK2014" /><ref name="ReferenceA">{{Cite book|last2=Deng|first2=L.|date=2014|title=Automatic Speech Recognition: A Deep Learning Approach (Publisher: Springer)|url={{Google books|plainurl=y|id=rUBTBQAAQBAJ}}|isbn=978-1-4471-5779-3|last1=Yu|first1=D.|publisher=Springer }}</ref><ref>{{Cite web|title=Deng receives prestigious IEEE Technical Achievement Award - Microsoft Research|url=https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/|website=Microsoft Research|date=03-12-2015|access-date=16-03-2018|archive-date=2018-03-16|archive-url=https://web.archive.org/web/20180316084821/https://www.microsoft.com/en-us/research/blog/deng-receives-prestigious-ieee-technical-achievement-award/|url-status=live}}</ref> A análise por volta de 2009 e 2010, contrastando o modelo de mistura gaussiana (e outros modelos de fala generativa) versus modelos de redes neurais profundas, estimulou o investimento industrial inicial em aprendizagem profunda para reconhecimento de fala.<ref name="ReferenceICASSP2013" /> Essa análise foi feita com desempenho comparável (menos de 1,5% na taxa de erros) entre modelos generativos e redes neurais profundas discriminativos.<ref name="HintonDengYu2012" /><ref name="ReferenceICASSP2013">{{Cite web|last1=Deng|first1=L.|last2=Hinton|first2=G.|last3=Kingsbury|first3=B.|date=05-2013|title=New types of deep neural network learning for speech recognition and related applications: An overview (ICASSP)|url=https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf|publisher=Microsoft|access-date=27-12-2023|archive-date=2017-09-26|archive-url=https://web.archive.org/web/20170926190920/https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/ICASSP-2013-DengHintonKingsbury-revised.pdf|url-status=live}}</ref><ref name="interspeech2014Keynote">{{Cite web|url=https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing|title=Keynote talk: 'Achievements and Challenges of Deep Learning - From Speech Analysis and Recognition To Language and Multimodal Processing'|last=Li|first=Deng|date=09-2014|website=Interspeech|access-date=2017-06-12|archive-date=2017-09-26|archive-url=https://web.archive.org/web/20170926190732/https://www.superlectures.com/interspeech2014/downloadFile?id=6&type=slides&filename=achievements-and-challenges-of-deep-learning-from-speech-analysis-and-recognition-to-language-and-multimodal-processing|url-status=live}}</ref> Em 2010, os pesquisadores estenderam a aprendizagem profunda a partir do TIMIT para o reconhecimento de fala de vocabulário grande, adotando grandes camadas de saída da rede neural profunda com base em estados do modelo de Markov oculto dependentes do contexto construídos por [[Árvore de decisão|árvores de decisões]].<ref name="Roles2010">{{Cite journal|last1=Yu|first1=D.|last2=Deng|first2=L.|date=2010|title=Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition|url=https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/|journal=NIPS Workshop on Deep Learning and Unsupervised Feature Learning|access-date=2017-06-14|archive-date=2017-10-12|archive-url=https://web.archive.org/web/20171012095148/https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/|url-status=live}}</ref><ref>{{Cite book|last1=Seide|first1=F.|last2=Li|first2=G.|last3=Yu|first3=D.|title=Interspeech 2011|chapter=Conversational speech transcription using context-dependent deep neural networks|date=2011|chapter-url=https://www.microsoft.com/en-us/research/publication/conversational-speech-transcription-using-context-dependent-deep-neural-networks|pages=437–440|doi=10.21437/Interspeech.2011-169|s2cid=398770|access-date=2017-06-14|archive-date=2017-10-12|archive-url=https://web.archive.org/web/20171012095522/https://www.microsoft.com/en-us/research/publication/conversational-speech-transcription-using-context-dependent-deep-neural-networks/|url-status=live}}</ref><ref>{{Cite journal|last1=Deng|first1=Li|last2=Li|first2=Jinyu|last3=Huang|first3=Jui-Ting|last4=Yao|first4=Kaisheng|last5=Yu|first5=Dong|last6=Seide|first6=Frank|last7=Seltzer|first7=Mike|last8=Zweig|first8=Geoff|last9=He|first9=Xiaodong|date=01-05-2013|title=Recent Advances in Deep Learning for Speech Research at Microsoft|url=https://www.microsoft.com/en-us/research/publication/recent-advances-in-deep-learning-for-speech-research-at-microsoft/|journal=Microsoft Research|access-date=14-06-2017|archive-date=2017-10-12|archive-url=https://web.archive.org/web/20171012044053/https://www.microsoft.com/en-us/research/publication/recent-advances-in-deep-learning-for-speech-research-at-microsoft/|url-status=live}}</ref><ref name="ReferenceA" />

===Revolução da aprendizagem profunda===
[[Imagem:AI-ML-DL.svg|thumb|Como a aprendizagem profunda é um subconjunto do aprendizado de máquina e como o aprendizado de máquina é um subconjunto da inteligência artificial (IA)]]
A revolução da aprendizagem profunda começou em torno da visão computacional baseada em redes neurais convolucionais e em GPUs.

Embora as redes neurais convolucionais treinadas por retropropagação já existissem há décadas e implementações de redes neurais em GPUs há anos,<ref name="jung2004">{{Cite journal|last1=Oh|first1=K.-S.|last2=Jung|first2=K.|year=2004|title=GPU implementation of neural networks|journal=Pattern Recognition|volume=37|issue=6|pages=1311–1314|bibcode=2004PatRe..37.1311O|doi=10.1016/j.patcog.2004.01.013}}</ref> incluindo redes neurais convolucionais,<ref name="chellapilla2006">{{Citation|last1=Chellapilla|first1=Kumar|title=High performance convolutional neural networks for document processing|date=2006|url=https://hal.inria.fr/inria-00112631/document|access-date=2021-02-14|archive-url=https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document|archive-date=2020-05-18|url-status=live|last2=Puri|first2=Sidd|last3=Simard|first3=Patrice}}</ref> implementações mais rápidas de redes neurais convolucionais em GPUs eram necessárias para progredir na visão computacional. Mais tarde, conforme a aprendizagem profunda se tornou difundido, otimizações de algoritmo e hardware especializados foram desenvolvidos especificamente para aprendizagem profunda.<ref name="sze2017">{{Cite arXiv|eprint=1703.09039|class=cs.CV|first1=Vivienne|last1=Sze|first2=Yu-Hsin|last2=Chen<!--|author1-link=en:Vivienne Sze-->|title=Efficient Processing of Deep Neural Networks: A Tutorial and Survey|last3=Yang|first3=Tien-Ju|last4=Emer|first4=Joel|year=2017}}</ref>

Um avanço fundamental para a revolução da aprendizagem profunda foram os avanços de hardware, especialmente GPUs. Alguns trabalhos iniciais datam de 2004.<ref name="jung2004" /><ref name="chellapilla2006" /> Em 2009, Raina, Madhavan e [[Andrew Ng]] relataram uma rede de crenças profundas de 100M treinada em 30 GPUs [[GeForce 200|GeForce GTX 280]] da Nvidia, uma demonstração inicial de aprendizagem profunda baseada em GPUs. Eles relataram um treinamento até 70 vezes mais rápido.<ref>{{Cite book|last1=Raina|first1=Rajat|last2=Madhavan|first2=Anand|last3=Ng|first3=Andrew Y.|chapter=Large-scale deep unsupervised learning using graphics processors|date=2009-06-14|title=Proceedings of the 26th Annual International Conference on Machine Learning|chapter-url=https://doi.org/10.1145/1553374.1553486|series=ICML '09|location=New York, NY, USA|publisher=Association for Computing Machinery|pages=873–880|doi=10.1145/1553374.1553486|isbn=978-1-60558-516-1}}</ref>

Em 2011, uma rede neural convolucional chamada ''DanNet''<ref name=":3">{{Cite journal|last1=Cireşan|first1=Dan Claudiu|last2=Meier|first2=Ueli|last3=Gambardella|first3=Luca Maria|last4=Schmidhuber|first4=Jürgen|date=21-09-2010|title=Deep, Big, Simple Neural Nets for Handwritten Digit Recognition|journal=Neural Computation|volume=22|issue=12|pages=3207–3220|arxiv=1003.0358|doi=10.1162/neco_a_00052|issn=0899-7667|pmid=20858131|s2cid=1918673}}</ref><ref name=":6">{{Cite journal|last1=Ciresan|first1=D. C.|last2=Meier|first2=U.|last3=Masci|first3=J.|last4=Gambardella|first4=L.M.|last5=Schmidhuber|first5=J.|date=2011|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|url=http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|journal=International Joint Conference on Artificial Intelligence|doi=10.5591/978-1-57735-516-8/ijcai11-210|access-date=2017-06-13|archive-date=2014-09-29|archive-url=https://web.archive.org/web/20140929094040/http://ijcai.org/papers11/Papers/IJCAI11-210.pdf|url-status=live}}</ref> por Dan Ciresan, Ueli Meier, Jonathan Masci, <!--[[:en:Luca Maria Gambardella]]-->Luca Maria Gambardella e <!--[[:en:Jürgen Schmidhuber]]-->Jürgen Schmidhuber alcançou pela primeira vez um desempenho sobre-humano em um concurso de reconhecimento de padrões visuais, superando os métodos tradicionais por um fator de 3.<ref name="SCHIDHUB" /> Em seguida, ganhou mais concursos.<ref name=":8">{{Cite book|url=http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|title=Advances in Neural Information Processing Systems 25|last1=Ciresan|first1=Dan|last2=Giusti|first2=Alessandro|last3=Gambardella|first3=Luca M.|last4=Schmidhuber|first4=Jürgen|date=2012|publisher=Curran Associates, Inc.|editor-last=Pereira|editor-first=F.|pages=2843–2851|editor-last2=Burges|editor-first2=C. J. C.|editor-last3=Bottou|editor-first3=L.|editor-last4=Weinberger|editor-first4=K. Q.|access-date=2017-06-13|archive-date=2017-08-09|archive-url=https://web.archive.org/web/20170809081713/http://papers.nips.cc/paper/4741-deep-neural-networks-segment-neuronal-membranes-in-electron-microscopy-images.pdf|url-status=live}}</ref><ref name="ciresan2013miccai">{{Cite book|last1=Ciresan|first1=D.|title=Medical Image Computing and Computer-Assisted Intervention – MICCAI 2013|last2=Giusti|first2=A.|last3=Gambardella|first3=L.M.|last4=Schmidhuber|first4=J.|date=2013|isbn=978-3-642-38708-1|series=Lecture Notes in Computer Science|volume=7908|pages=411–418|chapter=Mitosis Detection in Breast Cancer Histology Images with Deep Neural Networks|doi=10.1007/978-3-642-40763-5_51|pmid=24579167|issue=Pt 2}}</ref> Eles também mostraram como o <!--[[:en:Jürgen Schmidhuber]]-->pool máximo de redes neurais convolucionais em GPUs melhorou significativamente o desempenho.<ref name=":9" />

Em 2012, [[Andrew Ng]] e <!--[[:en:Jeff Dean (computer scientist)]]-->Jeff Dean criaram uma rede neural feedforward que aprendeu a reconhecer conceitos de nível superior, como gatos, apenas assistindo a imagens que não são rotuladas tiradas de vídeos do [[YouTube]].<ref name="ng2012">{{Cite arXiv|eprint=1112.6209|class=cs.LG|first1=Andrew|last1=Ng|first2=Jeff|last2=Dean|title=Building High-level Features Using Large Scale Unsupervised Learning|year=2012}}</ref>

Em outubro de 2012, <!--[[:en:AlexNet]]-->AlexNet por <!--[[:en:Alex Krizhevsky]]-->Alex Krizhevsky, [[Ilya Sutskever]] e [[Geoffrey Hinton]]<ref name="krizhevsky2012" /> venceu a <!--[[:en:ImageNet competition]]-->competição ImageNet em larga escala por uma margem significativa sobre métodos de aprendizado de máquina rasos. Outras melhorias incrementais incluíram a rede <!--[[:en:VGG-16]]-->VGG-16 por Karen Simonyan e <!--[[:en:Andrew Zisserman]]-->Andrew Zisserman<ref name="VGG">{{Cite arXiv|last1=Simonyan|first1=Karen|last2=Andrew|first2=Zisserman|title=Very Deep Convolution Networks for Large Scale Image Recognition|year=2014|class=cs.CV|eprint=1409.1556}}</ref> e a <!--[[:en:Inceptionv3]]-->Inceptionv3 do Google.<ref name="szegedy">{{Cite journal|last=Szegedy|first=Christian|date=2015|title=Going deeper with convolutions|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43022.pdf|journal=Cvpr2015|arxiv=1409.4842 }}</ref>

O sucesso na classificação de imagens foi então estendido para a tarefa mais desafiadora de <!--[[:en:Automatic image annotation]]-->gerar descrições (legendas) para imagens, geralmente como uma combinação de redes neurais convolucionais e memórias de curto prazo longas.<ref name="1411.4555">{{Cite arXiv|eprint=1411.4555|class=cs.CV|first1=Oriol|last1=Vinyals|first2=Alexander|last2=Toshev|title=Show and Tell: A Neural Image Caption Generator|last3=Bengio|first3=Samy|last4=Erhan|first4=Dumitru|year=2014}}.</ref><ref name="1411.4952">{{Cite arXiv|eprint=1411.4952|class=cs.CV|first1=Hao|last1=Fang|first2=Saurabh|last2=Gupta|title=From Captions to Visual Concepts and Back|last3=Iandola|first3=Forrest|last4=Srivastava|first4=Rupesh|last5=Deng|first5=Li|last6=Dollár|first6=Piotr|last7=Gao|first7=Jianfeng|last8=He|first8=Xiaodong|last9=Mitchell|first9=Margaret|last10=Platt|first10=John C|last11=Lawrence Zitnick|first11=C|last12=Zweig|first12=Geoffrey|year=2014}}.</ref><ref name="1411.2539">{{Cite arXiv|eprint=1411.2539|class=cs.LG|first1=Ryan|last1=Kiros|first2=Ruslan|last2=Salakhutdinov|title=Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models|last3=Zemel|first3=Richard S|year=2014}}</ref>

Em 2014, o estado da arte era treinar "rede neural muito profunda" com 20 a 30 camadas.<ref>{{Citation|last1=Simonyan|first1=Karen|title=Very Deep Convolutional Networks for Large-Scale Image Recognition|date=2015-04-10|arxiv=1409.1556|last2=Zisserman|first2=Andrew}}</ref> Empilhar muitas camadas levou a uma redução acentuada na precisão do <!--[[:en:Training, validation, and test data sets]]-->treinamento,<ref name="prelu">{{Cite arXiv|eprint=1502.01852|class=cs.CV|first1=Kaiming|last1=He|first2=Xiangyu|last2=Zhang|title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|year=2016}}</ref> conhecida como problema de "degradação".<ref name="resnet">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=10-12-2015|title=Deep Residual Learning for Image Recognition|arxiv=1512.03385}}</ref> Em 2015, duas técnicas foram desenvolvidas para treinar redes muito profundas: a Highway Network foi publicada em maio de 2015, e a <!--[[:en:Residual neural network]]-->rede neural residual (ResNet)<ref name="resnet20152">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=2016|title=Deep Residual Learning for Image Recognition|url=https://ieeexplore.ieee.org/document/7780459|location=Las Vegas, NV, USA|publisher=IEEE|pages=770–778|arxiv=1512.03385|doi=10.1109/CVPR.2016.90|isbn=978-1-4673-8851-1|journal=2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)}}</ref> em dezembro de 2015. A ResNet se comporta como uma Highway Net de portas abertas.

Na mesma época, a aprendizagem profunda começou a impactar o campo da arte. Os primeiros exemplos incluíram o [[DeepDream|DeepDream do Google]] (2015) e a <!--[[:en:Neural style transfer]]-->transferência de estilo neural (2015),<ref>{{Cite arXiv|eprint=1508.06576|class=cs.CV|first1=Leon A.|last1=Gatys|first2=Alexander S.|last2=Ecker|title=A Neural Algorithm of Artistic Style|date=26-08-2015|first3=Matthias|last3=Bethge}}</ref> ambos baseados em redes neurais de classificação de imagens pré-treinadas, como a VGG-19.

A <!--[[:en:Generative adversarial network]]-->rede adversária generativa (GAN) (de <!--[[:en:Ian Goodfellow]]-->Ian Goodfellow et al., 2014)<ref name="GANnips">{{Cite conference|last1=Goodfellow|first1=Ian|last2=Pouget-Abadie|first2=Jean|last3=Mirza|first3=Mehdi|last4=Xu|first4=Bing|last5=Warde-Farley|first5=David|last6=Ozair|first6=Sherjil|last7=Courville|first7=Aaron|last8=Bengio|first8=Yoshua|year=2014|title=Generative Adversarial Networks|url=https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|conference=Proceedings of the International Conference on Neural Information Processing Systems (NIPS 2014)|pages=2672–2680|archive-url=https://web.archive.org/web/20191122034612/http://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf|archive-date=2019-11-22|access-date=20-08-2019|url-status=live}}</ref> (com base no princípio da curiosidade artificial de Jürgen Schmidhuber<ref name="curiosity1991"/><ref name="gancurpm2020"/>) tornou-se o estado da arte na modelagem generativa durante o período de 2014 a 2018. Excelente qualidade de imagem é alcançada pela <!--[[:en:StyleGAN]]-->StyleGAN da [[Nvidia]] (2018)<ref name="SyncedReview2018">{{Cite web|date=2018-12-14|title=GAN 2.0: NVIDIA's Hyperrealistic Face Generator|url=https://syncedreview.com/2018/12/14/gan-2-0-nvidias-hyperrealistic-face-generator/|access-date=03-10-2019|website=SyncedReview.com}}</ref> com base na rede adversária generativa progressiva de Tero Karras et al.<ref name="progressiveGAN2017">{{Cite arXiv|eprint=1710.10196|class=cs.NE|first1=T.|last1=Karras|first2=T.|last2=Aila|title=Progressive Growing of GANs for Improved Quality, Stability, and Variation|date=26-02-2018|last3=Laine|first3=S.|last4=Lehtinen|first4=J.}}</ref> Aqui, o gerador da rede adversária generativa é desenvolvido de pequena para grande escala de forma piramidal. A geração de imagens por rede adversária generativa alcançou sucesso popular e provocou discussões sobre [[deepfake]]s.<ref>{{Cite web|title=Prepare, Don't Panic: Synthetic Media and Deepfakes|url=https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|url-status=live|archive-url=https://web.archive.org/web/20201202231744/https://lab.witness.org/projects/synthetic-media-and-deep-fakes/|archive-date=2020-12-02|access-date=25-11-2020|publisher=witness.org}}</ref> Os <!--[[:en:Diffusion model]]-->modelos de difusão (2015)<ref>{{Cite journal|last1=Sohl-Dickstein|first1=Jascha|last2=Weiss|first2=Eric|last3=Maheswaranathan|first3=Niru|last4=Ganguli|first4=Surya|date=2015-06-01|title=Deep Unsupervised Learning using Nonequilibrium Thermodynamics|url=http://proceedings.mlr.press/v37/sohl-dickstein15.pdf|journal=Proceedings of the 32nd International Conference on Machine Learning|language=en|publisher=PMLR|volume=37|pages=2256–2265|arxiv=1503.03585 }}</ref> eclipsaram as redes adversárias generativas na modelagem generativa desde então, com sistemas como [[DALL-E|DALL·E 2]] (2022) e [[Stable Diffusion]] (2022).

Em 2015, o reconhecimento de fala do Google melhorou em 49% por um modelo baseado em memória de curto prazo longa, que eles disponibilizaram por meio do <!--[[:en:Google Voice Search]]-->Google Voice Search em [[smartphone]]s.<ref name="GoogleVoiceTranscription">Google Research Blog. The neural networks behind Google Voice transcription. 11-08-2015. By Françoise Beaufays http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html</ref><ref name="sak2015">{{Cite web|last1=Sak|first1=Haşim|last2=Senior|first2=Andrew|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|last5=Schalkwyk|first5=Johan|date=09-2015|title=Google voice search: faster and more accurate|url=http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|url-status=live|archive-url=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html|archive-date=2016-03-09|access-date=2016-04-09}}</ref>

A aprendizagem profunda faz parte de sistemas de última geração em várias disciplinas, particularmente visão computacional e [[Reconhecimento de fala|reconhecimento de fala automático]] (ASR). Os resultados em conjuntos de avaliação comumente usados, como o <!--[[:en:TIMIT]]-->TIMIT (ASR) e o [[Banco de dados MNIST|MNIST]] ([[Visão computacional#Reconhecimento|classificação de imagens]]), bem como uma variedade de tarefas de reconhecimento de fala de vocabulário amplo, melhoraram constantemente.<ref name="HintonDengYu2012" /><ref>{{Cite book|last1=Singh|first1=Premjeet|title=2021 International Conference on Computer Communication and Informatics (ICCCI)|last2=Saha|first2=Goutam|last3=Sahidullah|first3=Md|year=2021|isbn=978-1-7281-5875-4|pages=1–4|chapter=Non-linear frequency warping using constant-Q transformation for speech emotion recognition|doi=10.1109/ICCCI50826.2021.9402569|arxiv=2102.04029|s2cid=231846518}}</ref> As redes neurais convolucionais foram substituídas para reconhecimento automático de fala por [[Long short-term memory|memórias de curto prazo longas]],<ref name="sak2015" /><ref name="sak2014">{{Cite web|last1=Sak|first1=Hasim|last2=Senior|first2=Andrew|last3=Beaufays|first3=Francoise|date=2014|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|urlmorta=sim|archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archive-date=2018-04-24}}</ref><ref name="liwu2015">{{Cite arXiv|eprint=1410.4281|class=cs.CL|first1=Xiangang|last1=Li|first2=Xihong|last2=Wu|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|year=2014}}</ref><ref name="zen2015">{{Cite web|last1=Zen|first1=Heiga|last2=Sak|first2=Hasim|date=2015|title=Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|url-status=live|archive-url=https://web.archive.org/web/20210509123113/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43266.pdf|archive-date=2021-05-09|access-date=2017-06-13|website=Google.com|publisher=ICASSP|pages=4470–4474}}</ref> mas são mais bem-sucedidas em visão computacional.

[[Yoshua Bengio]], [[Geoffrey Hinton]] e [[Yann LeCun]] receberam o [[Prêmio Turing]] de 2018 por "avanços conceituais e de engenharia que tornaram as redes neurais profundas um componente crítico da computação".<ref>{{Cite web|title=2018 ACM A.M. Turing Award Laureates|url=https://awards.acm.org/about/2018-turing|access-date=2024-08-07|website=awards.acm.org|language=en}}</ref>

==Redes neurais==
{{Artigo principal|Rede neural artificial}}
{{Imagem múltipla
|direção=horizontal
|largura_total=400 
|imagem1=Simplified neural network training example.svg 
|legenda1=Exemplo simplificado de treinamento de uma rede neural na detecção de objetos: A rede é treinada por várias imagens que são conhecidas por representar [[Estrela-do-mar|estrelas do mar]] e [[Echinoidea|ouriços-do-mar]], que são correlacionadas com "nós" que representam <!--[[:en:Feature (computer vision)]]-->características visuais. As estrelas do mar combinam com uma textura anelada e um contorno de estrela, enquanto a maioria dos ouriços-do-mar combinam com uma textura listrada e formato oval. No entanto, a instância de um ouriço-do-mar com textura anelar cria uma associação fracamente ponderada entre eles.
|imagem2=Simplified neural network example.svg
|legenda2=Execução subsequente da rede em uma imagem de entrada (esquerda):<ref>{{Cite book|author=Ferrie, C., & Kaiser, S.|year=2019|title=Neural Networks for Babies|publisher=Sourcebooks|isbn=978-1492671206}}</ref> A rede detecta corretamente a estrela-do-mar. No entanto, a associação fracamente ponderada entre textura anelada e ouriço-do-mar também confere um sinal fraco a este último de um dos dois nós intermediários. Além disso, uma [[concha]] que não foi incluída no treinamento fornece um sinal fraco para a forma oval, resultando também em um sinal fraco para a saída do ouriço-do-mar. Esses sinais fracos podem resultar em um resultado <!--[[:en:False positive]]-->falso positivo para o ouriço-do-mar.
Na realidade, texturas e contornos não seriam representados por nós únicos, mas sim por padrões de peso associados de vários nós.}}
'''Redes neurais artificiais''' ('''ANNs''') ou '''sistemas [[Conexionismo|conexionistas]]''' são sistemas de computação inspirados nas <!--[[:en:Neural network (biology)]]-->redes neurais biológicas que constituem os cérebros dos animais. Tais sistemas aprendem (melhoram progressivamente sua capacidade de) fazer tarefas considerando exemplos, geralmente sem programação específica para a tarefa. Por exemplo, no reconhecimento de imagens, eles podem aprender a identificar imagens que contêm gatos analisando imagens de exemplo que foram <!--[[:en:Labeled data]]-->rotuladas manualmente como "gato" ou "sem gato" e usando os resultados analíticos para identificar gatos em outras imagens. Eles encontraram mais uso em aplicações difíceis de expressar com um algoritmo de computador tradicional usando <!--[[:en:Rule-based programming]]-->programação baseada em regras.

Uma rede neural artificial (RNA) é baseada em uma coleção de unidades conectadas chamadas [[Neurônio artificial|neurônios artificiais]] (análogos aos [[neurônio]]s biológicos em um [[Cérebro|cérebro biológico]]). Cada conexão ([[sinapse]]) entre neurônios pode transmitir um sinal para outro neurônio. O neurônio receptor (pós-sináptico) pode processar o(s) sinal(ais) e então sinalizar os neurônios a jusante conectados a ele. Os neurônios podem ter estado, geralmente representados por [[Número real|números reais]], tipicamente entre 0 e 1. Neurônios e sinapses também podem ter um peso que varia conforme o aprendizado prossegue, o que pode aumentar ou diminuir a força do sinal que ele envia a jusante.

Normalmente, os neurônios são organizados em camadas. Camadas diferentes podem executar diferentes tipos de transformações em suas entradas. Os sinais viajam da primeira (entrada) para a última camada (saída), possivelmente após atravessar as camadas várias vezes.

O objetivo original da abordagem da rede neural era resolver problemas da mesma forma que um cérebro humano faria. Com o tempo, a atenção se concentrou em combinar habilidades mentais específicas, levando a desvios da biologia, como <!--[[:en:Backpropagation]]-->retropropagação ou passagem de informações na direção reversa e ajuste da rede para refletir essas informações.

As redes neurais têm sido usadas em uma variedade de tarefas, incluindo visão computacional, [[reconhecimento de fala]], [[tradução automática]], filtragem de [[Rede social|redes sociais]], <!--[[:en:General game playing]]-->jogos de tabuleiro e vídeo, e diagnóstico médico.

Em 2017, as redes neurais normalmente tinham alguns milhares a alguns milhões de unidades e milhões de conexões. Apesar desse número ser várias ordens de magnitude menor do que o número de neurônios em um cérebro humano, essas redes podem executar muitas tarefas em um nível além do dos humanos (por exemplo, reconhecer rostos ou jogar "Go"<ref>{{Cite journal|last1=Silver|first1=David|last2=Huang|first2=Aja|last3=Maddison|first3=Chris J.|last4=Guez|first4=Arthur|last5=Sifre|first5=Laurent|last6=Driessche|first6=George van den|last7=Schrittwieser|first7=Julian|last8=Antonoglou|first8=Ioannis|last9=Panneershelvam|first9=Veda|s2cid=515925|date=01-2016|title=Mastering the game of Go with deep neural networks and tree search|journal=Nature|volume=529|issue=7587|pages=484–489|doi=10.1038/nature16961|issn=1476-4687|pmid=26819042|bibcode=2016Natur.529..484S}}</ref>).

===Redes neurais profundas===
Uma rede neural profunda (DNN) é uma rede neural artificial com múltiplas camadas entre as camadas de entrada e saída.<ref name="BENGIODEEP">{{Cite journal|last=Bengio|first=Yoshua|year=2009|title=Learning Deep Architectures for AI|url=http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20%282009%29.pdf|journal=Foundations and Trends in Machine Learning|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006|citeseerx=10.1.1.701.9550|s2cid=207178999|access-date=03-09-2015|archive-url=https://web.archive.org/web/20160304084250/http://sanghv.com/download/soft/machine%20learning,%20artificial%20intelligence,%20mathematics%20ebooks/ML/learning%20deep%20architectures%20for%20AI%20(2009).pdf|archive-date=2016-03-04|urlmorta=sim}}</ref><ref name="SCHIDHUB">{{Cite journal|last=Schmidhuber|first=J.|s2cid=11715509|year=2015|title=Deep Learning in Neural Networks: An Overview|journal=Neural Networks|volume=61|pages=85–117|arxiv=1404.7828|doi=10.1016/j.neunet.2014.09.003|pmid=25462637}}</ref> Existem diferentes tipos de redes neurais, mas elas sempre consistem nos mesmos componentes: neurônios, sinapses, pesos, vieses e funções.<ref name="Nokkada">{{Citation|title=A Guide to Deep Learning and Neural Networks|url=https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks|access-date=2020-11-16|archive-date=2020-11-02|archive-url=https://web.archive.org/web/20201102151103/https://serokell.io/blog/deep-learning-and-neural-network-guide#components-of-neural-networks|url-status=live}}</ref> Esses componentes como um todo funcionam de uma forma que imita funções do cérebro humano e podem ser treinados como qualquer outro algoritmo de aprendizado de máquina.<!---->

Por exemplo, uma rede neural profunda treinada para reconhecer raças de cães examinará a imagem fornecida e calculará a probabilidade de que o cão na imagem seja de uma determinada raça. O usuário pode revisar os resultados e selecionar quais probabilidades a rede deve exibir (acima de um certo limite, etc.) e retornar o rótulo proposto. Cada manipulação matemática como tal é considerada uma camada,<ref name="Kumar2021">{{Cite journal|last1=Kumar|first1=Nishant|last2=Raubal|first2=Martin|title=Applications of deep learning in congestion detection, prediction and alleviation: A survey|journal=Transportation Research Part C: Emerging Technologies|volume=133|pages=103432|year=2021|doi=10.1016/j.trc.2021.103432|hdl=10230/42143|s2cid=240420107|doi-access=free|arxiv=2102.09759|bibcode=2021TRPC..13303432K|hdl-access=free}}</ref> e redes neurais profundas complexas têm muitas camadas, daí o nome redes "profundas".

As redes neurais profundas podem modelar relacionamentos que não são lineares complexos. As arquiteturas dad redes neurais profundas geram modelos composicionais onde o objeto é expresso como uma composição em camadas de <!--[[:en:Primitive data type]]-->primitivos.<ref>{{Cite journal|last1=Szegedy|first1=Christian|last2=Toshev|first2=Alexander|last3=Erhan|first3=Dumitru|date=2013|title=Deep neural networks for object detection|url=https://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection|journal=Advances in Neural Information Processing Systems|pages=2553–2561|access-date=2017-06-13|archive-date=2017-06-29|archive-url=https://web.archive.org/web/20170629172111/http://papers.nips.cc/paper/5207-deep-neural-networks-for-object-detection|url-status=live}}</ref> As camadas extras permitem a composição de recursos de camadas inferiores, potencialmente modelando dados complexos com menos unidades do que uma rede rasa de desempenho semelhante.<ref name="BENGIODEEP"/> Por exemplo, foi provado que <!--[[:en:Polynomial#Multivariate polynomial]]-->polinômios multivariados esparsos são exponencialmente mais fáceis de aproximar com redes neurais profundas do que com redes rasas.<ref name="rolnickpaper">{{Cite conference|last1=Rolnick|first1=David|last2=Tegmark|first2=Max|date=2018|title=The power of deeper networks for expressing natural functions|url=https://openreview.net/pdf?id=SyProzZAW|conference=ICLR 2018|book-title=International Conference on Learning Representations|access-date=2021-01-05|archive-date=2021-01-07|archive-url=https://web.archive.org/web/20210107183647/https://openreview.net/pdf?id=SyProzZAW|url-status=live}}</ref>

As arquiteturas profundas incluem muitas variantes de algumas abordagens básicas. Cada arquitetura obteve sucesso em domínios específicos. Nem sempre é possível comparar o desempenho de múltiplas arquiteturas, a menos que tenham sido avaliadas nos mesmos conjuntos de dados.<ref name="Kumar2021"/>

As redes neurais profundas são tipicamente redes feedforward nas quais os dados fluem da camada de entrada para a camada de saída sem fazer loopback. Primeiramente, a rede neural profunda cria um mapa de neurônios virtuais e atribui valores numéricos aleatórios, ou "pesos", às conexões entre eles. Os pesos e entradas são multiplicados e retornam uma saída entre 0 e 1. Se a rede não reconhecesse com precisão um padrão específico, um algoritmo ajustaria os pesos.<ref>{{Cite news|last=Hof|first=Robert D.|title=Is Artificial Intelligence Finally Coming into Its Own?|work=MIT Technology Review|url=https://www.technologyreview.com/s/513696/deep-learning/|access-date=10-07-2018|archive-url=https://web.archive.org/web/20190331092832/https://www.technologyreview.com/s/513696/deep-learning/|archive-date=2019-03-31}}</ref> Dessa forma, o algoritmo pode tornar certos parâmetros mais influentes, até determinar a manipulação matemática correta para processar completamente os dados.

As <!--[[:en:Recurrent neural network]]-->redes neurais recorrentes, nas quais os dados podem fluir em qualquer direção, são usadas para aplicações como [[Modelo de linguagem|modelagem de linguagem]].<ref name="gers2001">{{Cite journal|last1=Gers|first1=Felix A.|last2=Schmidhuber|first2=Jürgen|year=2001|title=LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages|url=http://elartu.tntu.edu.ua/handle/lib/30719|journal=IEEE Transactions on Neural Networks|volume=12|issue=6|pages=1333–1340|doi=10.1109/72.963769|pmid=18249962|s2cid=10192330|access-date=2020-02-25|archive-date=2020-01-26|archive-url=https://web.archive.org/web/20200126045722/http://elartu.tntu.edu.ua/handle/lib/30719|url-status=live}}</ref><ref name="NIPS2014">{{Cite journal|last1=Sutskever|first1=L.|last2=Vinyals|first2=O.|last3=Le|first3=Q.|date=2014|title=Sequence to Sequence Learning with Neural Networks|url=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf|journal=Proc. NIPS|bibcode=2014arXiv1409.3215S|arxiv=1409.3215|access-date=2017-06-13|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123145/https://papers.nips.cc/paper/2014/file/a14ac55a4f27472c5d894ec1c3c743d2-Paper.pdf|url-status=live}}</ref><ref name="vinyals2016">{{Cite arXiv|eprint=1602.02410|last1=Jozefowicz|first1=Rafal|title=Exploring the Limits of Language Modeling|last2=Vinyals|first2=Oriol|last3=Schuster|first3=Mike|last4=Shazeer|first4=Noam|last5=Wu|first5=Yonghui|class=cs.CL|year=2016}}</ref><ref name="gillick2015">{{Cite arXiv|eprint=1512.00103|last1=Gillick|first1=Dan|title=Multilingual Language Processing from Bytes|last2=Brunk|first2=Cliff|last3=Vinyals|first3=Oriol|last4=Subramanya|first4=Amarnag|class=cs.CL|year=2015}}</ref><ref name="MIKO2010">{{Cite journal|last=Mikolov|first=T.|display-authors=etal|date=2010|title=Recurrent neural network based language model|url=http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf|journal=Interspeech|pages=1045–1048|doi=10.21437/Interspeech.2010-343|s2cid=17048224|access-date=2017-06-13|archive-date=2017-05-16|archive-url=https://web.archive.org/web/20170516181940/http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf|url-status=live}}</ref> A memória de curto prazo longa é particularmente eficaz para esse uso.<ref name=":0">{{Cite journal|last1=Hochreiter|first1=Sepp|last2=Schmidhuber|first2=Jürgen|date=01-11-1997|title=Long Short-Term Memory|journal=Neural Computation|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|issn=0899-7667|pmid=9377276|s2cid=1915014}}</ref><ref name=":10">{{Cite web|url=https://www.researchgate.net/publication/220320057|title=Learning Precise Timing with LSTM Recurrent Networks (PDF Download Available)|website=ResearchGate|access-date=13-06-2017|archive-date=09-05-2021|archive-url=https://web.archive.org/web/20210509123147/https://www.researchgate.net/publication/220320057_Learning_Precise_Timing_with_LSTM_Recurrent_Networks|url-status=live}}</ref>

As [[Rede neural convolucional|redes neurais convolucionais]] (CNNs) são usadas em visão computacional.<ref name="LECUN86">{{Cite journal|last1=LeCun|first1=Y.|display-authors=etal|year=1998|title=Gradient-based learning applied to document recognition|journal=Proceedings of the IEEE|volume=86|issue=11|pages=2278–2324|doi=10.1109/5.726791|s2cid=14542261|url=http://elartu.tntu.edu.ua/handle/lib/38369}}</ref> As redes neurais convolucionais também foram aplicadas à <!--[[:en:Acoustic model]]-->modelagem acústica para reconhecimento automático de fala (ASR).<ref name=":2">{{Cite book|doi=10.1109/icassp.2013.6639347|isbn=978-1-4799-0356-6|chapter=Deep convolutional neural networks for LVCSR|title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing|pages=8614–8618|year=2013|last1=Sainath|first1=Tara N.<!--|author1-link=:en:Tara Sainath-->|last2=Mohamed|first2=Abdel-Rahman|last3=Kingsbury|first3=Brian|last4=Ramabhadran|first4=Bhuvana<!--|author4-link=len:Bhuvana Ramabhadran-->|s2cid=13816461}}</ref>

====Desafios====
Assim como com redes neurais artificiais, muitos problemas podem surgir com redes neurais profundas treinadas ingenuamente. Dois problemas comuns são o [[Sobreajuste|ajuste excessivo]] e o tempo de computação.

As redes neurais profundas são propensas a ajuste excessivo por causa das camadas de abstração adicionadas, que permitem que elas modelem dependências raras nos dados de treinamento. Métodos de <!--[[:en:Regularization (mathematics)]]-->regularização como a poda de unidade de Ivakhnenko<ref name="ivak1971">{{Cite journal|last=Ivakhnenko|first=Alexey|date=1971|title=Polynomial theory of complex systems|url=http://gmdh.net/articles/history/polynomial.pdf|journal=IEEE Transactions on Systems, Man, and Cybernetics|pages=364–378|doi=10.1109/TSMC.1971.4308320|volume=SMC-1|issue=4|access-date=2019-11-05|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829230621/http://www.gmdh.net/articles/history/polynomial.pdf|url-status=live}}</ref> ou o <!--[[:en:Weight decay]]-->decaimento de peso (regularização de <math> \ell_2 </math>) ou [[Matriz esparsa|esparsidade]] (regularização de <math> \ell_1 </math>) podem ser aplicados durante o treinamento para combater ajuste excessivo.<ref>{{Cite book|doi=10.1109/icassp.2013.6639349|isbn=978-1-4799-0356-6|arxiv=1212.0901|citeseerx=10.1.1.752.9151|chapter=Advances in optimizing recurrent networks|title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing|pages=8624–8628|year=2013|last1=Bengio|first1=Yoshua|last2=Boulanger-Lewandowski|first2=Nicolas|last3=Pascanu|first3=Razvan|s2cid=12485056}}</ref> Alternativamente, a regularização de <!--[[:en:Dropout (neural networks)]]-->abandono omite aleatoriamente unidades das camadas ocultas durante o treinamento. Isso ajuda a excluir dependências raras.<ref name="DAHL2013">{{Cite journal|last=Dahl|first=G.|display-authors=etal|date=2013|title=Improving DNNs for LVCSR using rectified linear units and dropout|url=http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf|journal=ICASSP|access-date=2017-06-13|archive-date=2017-08-12|archive-url=https://web.archive.org/web/20170812140509/http://www.cs.toronto.edu/~gdahl/papers/reluDropoutBN_icassp2013.pdf|url-status=live}}</ref> Outro desenvolvimento recente interessante é a pesquisa em modelos de complexidade suficiente por meio de uma estimativa da complexidade intrínseca da tarefa que está sendo modelada. Essa abordagem foi aplicada com sucesso para tarefas de previsão de séries temporais multivariadas, como previsão de tráfego.<ref name="Kumar2024">{{Cite journal|last1=Kumar|first1=Nishant|last2=Martin|first2=Henry|last3=Raubal|first3=Martin|title=Enhancing Deep Learning-Based City-Wide Traffic Prediction Pipelines Through Complexity Analysis|journal=Data Science for Transportation|volume=6|pages=Article 24|year=2024
|issue=3|doi=10.1007/s42421-024-00109-x|doi-access=free|hdl=20.500.11850/695425|hdl-access=free}}</ref> Finalmente, os dados podem ser aumentados por meio de métodos como corte e rotação, de modo que conjuntos de treinamento menores possam ser aumentados em tamanho para reduzir as chances de ajuste excessivo.<ref>{{Cite web|url=https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation|title=Data Augmentation - deeplearning.ai {{!}} Coursera|website=Coursera|access-date=30-11-2017|archive-date=2017-12-01|archive-url=https://web.archive.org/web/20171201032606/https://www.coursera.org/learn/convolutional-neural-networks/lecture/AYzbX/data-augmentation|url-status=live}}</ref>

As redes neurais profundas devem considerar muitos parâmetros de treinamento, como o tamanho (número de camadas e número de unidades por camada), a <!--[[:en:Learning rate]]-->taxa de aprendizado e pesos iniciais. <!--[[:en:Hyperparameter optimization#Grid search]]-->Varrer o espaço de parâmetros para parâmetros ideais pode não ser viável devido ao custo em tempo e recursos computacionais. Vários truques, como [[Aprendizagem de máquina online#Aprendizagem em lote|loteamento]] (computação do gradiente em vários exemplos de treinamento de uma vez em vez de exemplos individuais)<ref name="RBMTRAIN">{{Cite journal|last=Hinton|first=G. E.|date=2010|title=A Practical Guide to Training Restricted Boltzmann Machines|url=https://www.researchgate.net/publication/221166159|journal=Tech. Rep. UTML TR 2010-003|access-date=2017-06-13|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123211/https://www.researchgate.net/publication/221166159_A_brief_introduction_to_Weightless_Neural_Systems|url-status=live}}</ref> aceleram a computação. Grandes capacidades de processamento de arquiteturas de muitos núcleos (como GPUs ou o Intel Xeon Phi) produziram acelerações significativas no treinamento, devido à adequação de tais arquiteturas de processamento para as computações de matriz e vetor.<ref>{{Cite book|last1=You|first1=Yang|title=Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis on - SC '17|pages=1–12|last2=Buluç|first2=Aydın|last3=Demmel|first3=James|chapter=Scaling deep learning on GPU and knights landing clusters|chapter-url=https://dl.acm.org/citation.cfm?doid=3126908.3126912|publisher=SC '17, ACM|date=11-2017|access-date=05-03-2018|doi=10.1145/3126908.3126912|isbn=9781450351140|s2cid=8869270|url=http://www.escholarship.org/uc/item/6ch40821|archive-date=2020-07-29|archive-url=https://web.archive.org/web/20200729133850/https://escholarship.org/uc/item/6ch40821|url-status=live}}</ref><ref>{{Cite journal|last1=Viebke|first1=André|last2=Memeti|first2=Suejb|last3=Pllana|first3=Sabri|last4=Abraham|first4=Ajith|s2cid=14135321|title=CHAOS: a parallelization scheme for training convolutional neural networks on Intel Xeon Phi|journal=The Journal of Supercomputing|volume=75|pages=197–227|doi=10.1007/s11227-017-1994-x|arxiv=1702.07908|bibcode=2017arXiv170207908V|year=2019}}</ref>

Alternativamente, os engenheiros podem procurar outros tipos de redes neurais com algoritmos de treinamento mais diretos e convergentes. A <!--[[:en:Cerebellar model articulation controller|]]-->controladora de articulação de modelo cerebelar (CMAC) é uma desses tipos de rede neural. Ela não requer taxas de aprendizado ou pesos iniciais randomizados. O processo de treinamento pode ser garantido para convergir em uma etapa com um novo lote de dados, e a complexidade computacional do algoritmo de treinamento é linear em relação ao número de neurônios envolvidos.<ref name=Qin1>Ting Qin, et al. "A learning algorithm of CMAC based on RLS" (em inglês). Neural Processing Letters 19.1 (2004): 49-61.</ref><ref name=Qin2>Ting Qin, et al. "[http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf Continuous CMAC-QRLS and its systolic array]" (em inglês). {{Webarchive|url=https://web.archive.org/web/20181118122850/http://www-control.eng.cam.ac.uk/Homepage/papers/cued_control_997.pdf|date=2018-11-18 }}. Neural Processing Letters 22.1 (2005): 1-16.</ref>

==Hardware==
Desde a década de 2010, os avanços em algoritmos de aprendizado de máquina e [[Hardware|hardware de computador]] levaram a métodos mais eficientes para treinar redes neurais profundas que contêm muitas camadas de unidades ocultas que não são lineares e uma camada de saída muito grande.<ref>{{Cite web|last1=Research|first1=AI|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|website=airesearch.com|access-date=23-10-2015|date=23-10-2015|archive-date=2016-02-01|archive-url=https://web.archive.org/web/20160201033801/http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|url-status=live}}</ref> Em 2019, unidades de processamento gráfico (GPUs), geralmente com aprimoramentos específicos de IA, substituíram as CPUs como o método dominante para treinar IA de nuvem comercial em larga escala.<ref>{{Cite news|title=GPUs Continue to Dominate the AI Accelerator Market for Now|url=https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475|access-date=11-06-2020|work=InformationWeek|date=12-2019|language=en|archive-date=2020-06-10|archive-url=https://web.archive.org/web/20200610094310/https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475|url-status=live}}</ref> A [[OpenAI]] estimou a computação de hardware usada nos maiores projetos de aprendizagem profunda de AlexNet (2012) a AlphaZero (2017) e encontrou um aumento de 300.000 vezes na quantidade de computação necessária, com uma linha de tendência de tempo de duplicação de 3,4 meses.<ref>{{Cite news|last1=Ray|first1=Tiernan|title=AI is changing the entire nature of computation|url=https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/|access-date=11-06-2020|work=ZDNet|date=2019|language=en|archive-date=2020-05-25|archive-url=https://web.archive.org/web/20200525144635/https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/|url-status=live}}</ref><ref>{{Cite web|title=AI and Compute|url=https://openai.com/blog/ai-and-compute/|website=OpenAI|access-date=11-06-2020|language=en|date=16-05-2018|archive-date=2020-06-17|archive-url=https://web.archive.org/web/20200617200602/https://openai.com/blog/ai-and-compute/|url-status=live}}</ref>

[[Circuito eletrônico|Circuitos eletrônicos]] especiais chamados [[Acelerador de IA|processadores de aprendizagem profunda]] foram projetados para acelerar algoritmos de aprendizagem profunda. Os processadores de aprendizagem profunda incluem unidades de processamento neural (NPUs) em celulares [[Huawei]]<ref>{{Cite web|url=https://consumer.huawei.com/en/press/news/2017/ifa2017-kirin970/|title=HUAWEI Reveals the Future of Mobile AI at IFA 2017 &#124; HUAWEI Latest News &#124; HUAWEI Global|website=consumer.huawei.com}}</ref> e servidores de [[computação em nuvem]], como <!--[[:en:Tensor processing unit]]-->unidades de processamento tensorial (TPU) na [[Google Cloud Platform]].<ref>{{Cite journal|last1=P|first1=JouppiNorman|last2=YoungCliff|last3=PatilNishant|last4=PattersonDavid|last5=AgrawalGaurav|last6=BajwaRaminder|last7=BatesSarah|last8=BhatiaSuresh|last9=BodenNan|last10=BorchersAl|last11=BoyleRick|date=2017-06-24|title=In-Datacenter Performance Analysis of a Tensor Processing Unit|journal=ACM SIGARCH Computer Architecture News|volume=45|issue=2|pages=1–12|language=EN|doi=10.1145/3140659.3080246|doi-access=free|arxiv=1704.04760}}</ref> A <!--[[:en:Cerebras]]-->Cerebras Systems também construiu um sistema dedicado para lidar com grandes modelos de aprendizagem profunda, o CS-2, baseado no maior processador do setor, o Wafer Scale Engine de segunda geração (WSE-2).<ref>{{Cite web|last=Woodie|first=Alex|date=2021-11-01|title=Cerebras Hits the Accelerator for Deep Learning Workloads|url=https://www.datanami.com/2021/11/01/cerebras-hits-the-accelerator-for-deep-learning-workloads/|access-date=2022-08-03|website=Datanami}}</ref><ref>{{Cite web|date=2021-04-20|title=Cerebras launches new AI supercomputing processor with 2.6 trillion transistors|url=https://venturebeat.com/2021/04/20/cerebras-systems-launches-new-ai-supercomputing-processor-with-2-6-trillion-transistors/|access-date=2022-08-03|website=VentureBeat|language=en-US}}</ref>

[[Semicondutor]]es atomicamente finos são considerados promissores para hardware de aprendizagem profunda com eficiência energética, onde a mesma estrutura básica do dispositivo é usada para operações lógicas e armazenamento de dados. Em 2020, Marega et al. publicaram experimentos com um material de canal ativo de grande área para desenvolver dispositivos e circuitos lógicos na memória baseados em [[Transistor de efeito de campo|transistores de efeito de campo]] de <!--[[:en:Floating-gate]]-->porta flutuante (FGFETs).<ref name="atomthin">{{Cite journal|title=Logic-in-memory based on an atomically thin semiconductor|year=2020|doi=10.1038/s41586-020-2861-0|last1=Marega|first1=Guilherme Migliato|last2=Zhao|first2=Yanfei|last3=Avsar|first3=Ahmet|last4=Wang|first4=Zhenyu|last5=Tripati|first5=Mukesh|last6=Radenovic|first6=Aleksandra|last7=Kis|first7=Anras|journal=Nature|volume=587|issue=2|pages=72–77|pmid=33149289|pmc=7116757|bibcode=2020Natur.587...72M}}</ref>

Em 2021, J. Feldmann et al. propuseram um <!--[[:en:Hardware accelerator]]-->acelerador de hardware [[Fotônica|fotônico]] integrado para processamento convolucional paralelo.<ref name="photonic">{{Cite journal|title=Parallel convolutional processing using an integrated photonic tensor|year=2021|doi=10.1038/s41586-020-03070-1|last1=Feldmann|first1=J.|last2=Youngblood|first2=N.|last3=Karpov|first3=M.|last4=Gehring|first4=H.|display-authors=3|journal=Nature|volume=589|issue=2|pages=52–58|pmid=33408373|arxiv=2002.00281|s2cid=211010976}}</ref> Os autores identificam duas vantagens principais da fotônica integrada sobre suas contrapartes eletrônicas: (1) transferência de dados massivamente paralela por meio de [[multiplexação]] por divisão de [[comprimento de onda]] em conjunto com [[Pente de frequência|pentes de frequência]] e (2) velocidades de modulação de dados extremamente altas.<ref name="photonic"/> Seu sistema pode executar trilhões de operações de multiplicação e acumulação por segundo, indicando o potencial da [[fotônica]] <!--[[:en:Photonic integrated circuit]]-->integrada em aplicações de IA com muitos dados.<ref name="photonic"/>

==Aplicações==
===Reconhecimento automático de fala===
{{Artigo principal|Reconhecimento de fala}}
O reconhecimento automático de fala em larga escala é o primeiro e mais convincente caso bem-sucedido de aprendizado profundo. Redes neurais recorrentes de memórias de curto prazo longas podem aprender tarefas de "Aprendizado Muito Profundo"<ref name="SCHIDHUB"/> que envolvem intervalos de vários segundos contendo eventos de fala separados por milhares de passos de tempo discretos, onde um passo de tempo corresponde a cerca de 10 milissegundos. Memórias de curto prazo longas com portas de esquecimento<ref name=":10" /> são competitivas com reconhecedores de fala tradicionais em certas tarefas.<ref name="graves2003"/>

O sucesso inicial no reconhecimento de fala foi baseado em tarefas de reconhecimento em pequena escala baseadas no TIMIT. O conjunto de dados contém 630 falantes de oito [[dialeto]]s principais do [[inglês americano]], onde cada falante lê 10 frases.<ref name=APC_1>{{Cite book| title=TIMIT Acoustic-Phonetic Continuous Speech Corpus| author1=Garofolo, J.S.| author2=Lamel, L.F.| author3=Fisher, W.M.| author4=Fiscus, J.G.| author5=Pallett, D.S.| author6=Dahlgren, N.L.| author7=Zue, V.| url=https://catalog.ldc.upenn.edu/LDC93S1| publisher=Linguistic Data Consortium| date=1993| access-date=27-12-2023| doi=10.35111/17gk-bn40| isbn=1-58563-019-5}}</ref> Seu pequeno tamanho permite que muitas configurações sejam tentadas. Mais importante, a tarefa TIMIT diz respeito ao reconhecimento de sequência de [[Fones (fonética)|fonemas]], que, diferentemente do reconhecimento de sequência de palavras, permite modelos de linguagem de <!--[[:en:Bigram]]-->bigramas de fonemas fracos. Isso permite que a força dos aspectos de modelagem acústica do reconhecimento de fala seja mais facilmente analisada. As taxas de erro listadas abaixo, incluindo esses resultados iniciais e medidas como taxas de erro de fonemas percentuais (PER), foram resumidas desde 1991.
{| class="wikitable"
|-
! Método !! Taxa de erro de fonemas<br>percentual (PER) (%)
|-
| Randomly Initialized RNN<ref>{{Cite journal |last1=Robinson |first1=Tony <!--|author-link=en:Tony Robinson (speech recognition)-->|title=Several Improvements to a Recurrent Error Propagation Network Phone Recognition System |journal=Cambridge University Engineering Department Technical Report |date=30-09-1991 |volume=CUED/F-INFENG/TR82 |doi=10.13140/RG.2.2.15418.90567 }}</ref>|| 26,1
|-
| Bayesian Triphone GMM-HMM || 25,6
|-
| Hidden Trajectory (Generative) Model|| 24,8
|-
| Monophone Randomly Initialized DNN|| 23,4
|-
| Monophone DBN-DNN|| 22,4
|-
| Triphone GMM-HMM with BMMI Training|| 21,7
|-
| Monophone DBN-DNN on fbank || 20,7
|-
| Convolutional DNN<ref name="CNN-2014">{{Cite journal|last1=Abdel-Hamid|first1=O.|title=Convolutional Neural Networks for Speech Recognition|journal=IEEE/ACM Transactions on Audio, Speech, and Language Processing|date=2014|volume=22|issue=10|pages=1533–1545|doi=10.1109/taslp.2014.2339736|s2cid=206602362|display-authors=etal|url=https://zenodo.org/record/891433|access-date=2018-04-20|archive-date=2020-09-22|archive-url=https://web.archive.org/web/20200922180719/https://zenodo.org/record/891433|url-status=live}}</ref>|| 20,0
|-
| Convolutional DNN w. Heterogeneous Pooling|| 18,7
|-
| Ensemble DNN/CNN/RNN<ref name="EnsembleDL">{{Cite journal|last2=Platt|first2=J.|date=2014|title=Ensemble Deep Learning for Speech Recognition|journal=Proc. Interspeech|last1=Deng|first1=L.|pages=1915–1919 |doi=10.21437/Interspeech.2014-433 |s2cid=15641618}}</ref>|| 18,3
|-
| Bidirectional LSTM|| 17,8
|-
| Hierarchical Convolutional Deep Maxout Network<ref name="HCDMM">{{Cite journal|last1=Tóth|first1=Laszló|date=2015|title=Phone Recognition with Hierarchical Convolutional Deep Maxout Networks|journal=EURASIP Journal on Audio, Speech, and Music Processing|volume=2015|doi=10.1186/s13636-015-0068-3|s2cid=217950236|url=http://publicatio.bibl.u-szeged.hu/5976/1/EURASIP2015.pdf|access-date=2019-04-01|archive-date=2020-09-24|archive-url=https://web.archive.org/web/20200924085514/http://publicatio.bibl.u-szeged.hu/5976/1/EURASIP2015.pdf|url-status=live |doi-access=free }}</ref> || 16,5
|}
A estreia das redes neurais profundas para reconhecimento de falantes no final da década de 1990 e do reconhecimento de fala por volta de 2009 a 2011 e da memória de curto prazo longa por volta de 2003 a 2007, acelerou o progresso em oito áreas principais:<ref name="BOOK2014" /><ref name="interspeech2014Keynote" /><ref name="ReferenceA" />
*Treinamento e decodificação de rede neural profunda de aceleração e expansão vertical/horizontal 
*Treinamento discriminativo de sequência
*Processamento de recursos por modelos profundos com sólida compreensão dos mecanismos subjacentes
*Adaptação de redes neurais profundas e modelos profundos relacionados
*Aprendizado <!--[[:en:Multi-task learning]]-->multitarefa e de [[Aprendizado por transferência|transferência]] por redes neurais profundas e modelos profundos relacionados
*[[Rede neural convolucional|Redes neurais convolucionais]] e como projetá-las para melhor explorar o <!--[[:en:Domain knowledge]]-->conhecimento de domínio da fala
*<!--[[:en:Recurrent neural network]]-->Rede neural recorrente e suas ricas variantes de memória de curto prazo longa
*Outros tipos de modelos profundos, incluindo modelos baseados em tensores e modelos discriminativos/generativos profundos integrados.
Todos os principais sistemas comerciais de reconhecimento de fala (por exemplo, [[Microsoft Cortana]], [[Xbox]], <!--[[:en:Skype Translator]]-->Skype Translator, [[Amazon Alexa]], [[Google Now]], [[Siri (software)|Apple Siri]], [[Baidu]] e pesquisa por voz da <!--[[:en:iFlytek]]-->iFlyTek e uma variedade de produtos de fala da [[Nuance Communications|Nuance]], etc.) são baseados em aprendizado profundo.<ref name=BOOK2014 /><ref>{{Cite magazine|url=https://www.wired.com/2014/12/skype-used-ai-build-amazing-new-language-translator/|title=How Skype Used AI to Build Its Amazing New Language Translator {{!}} WIRED|magazine=Wired|access-date=14-06-2017|date=17-12-2014|last1=McMillan|first1=Robert|archive-date=2017-06-08|archive-url=https://web.archive.org/web/20170608062106/https://www.wired.com/2014/12/skype-used-ai-build-amazing-new-language-translator/|url-status=live}}</ref><ref name="Baidu">{{Cite arXiv |eprint=1412.5567|last1=Hannun|first1=Awni|title=Deep Speech: Scaling up end-to-end speech recognition|last2=Case|first2=Carl|last3=Casper|first3=Jared|last4=Catanzaro|first4=Bryan|last5=Diamos|first5=Greg|last6=Elsen|first6=Erich|last7=Prenger|first7=Ryan|last8=Satheesh|first8=Sanjeev|last9=Sengupta|first9=Shubho|last10=Coates|first10=Adam|last11=Ng|first11=Andrew Y|class=cs.CL|year=2014}}</ref>

===Reconhecimento de imagens===
{{Artigo principal|Visão computacional}}
<!--[[File:Deep Learning in mussel farming.webm|thumb|Richard Green explica como a aprendizagem profunda é usada com um [[Veículo subaquático operado remotamente|veículo operado remotamente]] na [[:en:Mussel#Aquaculture|aquicultura]] de [[Mexilhão|mexilhões]].]]-->
Um conjunto de avaliação comum para classificação de imagens é o conjunto de dados do [[Banco de dados MNIST|banco de dados do MNIST]]. O MNIST é composto de dígitos manuscritos e inclui 60.000 exemplos de treinamento e 10.000 exemplos de teste. Assim como o TIMIT, seu tamanho pequeno permite que os usuários testem várias configurações. Uma lista abrangente de resultados neste conjunto está disponível.<ref name="YANNMNIST">{{Cite web|url=http://yann.lecun.com/exdb/mnist/.|title=MNIST handwritten digit database, Yann LeCun, Corinna Cortes and Chris Burges|website=yann.lecun.com|access-date=2014-01-28|archive-date=2014-01-13|archive-url=https://web.archive.org/web/20140113175237/http://yann.lecun.com/exdb/mnist/|url-status=live}}</ref>

O reconhecimento de imagens baseado em aprendizagem profunda se tornou "super-humano", produzindo resultados mais precisos do que concorrentes humanos. Isso ocorreu pela primeira vez em 2011 no reconhecimento de sinais de trânsito e, em 2014, com o reconhecimento de rostos humanos.<ref name=":7">{{Cite journal|last1=Cireşan|first1=Dan|last2=Meier|first2=Ueli|last3=Masci|first3=Jonathan|last4=Schmidhuber|first4=Jürgen|date=08-2012|title=Multi-column deep neural network for traffic sign classification|journal=Neural Networks|series=Selected Papers from IJCNN 2011|volume=32|pages=333–338|doi=10.1016/j.neunet.2012.02.023|pmid=22386783|citeseerx=10.1.1.226.8219}}</ref><ref name=surpass1>{{Cite arXiv|title=Surpassing Human Level Face Recognition|author1=Chaochao Lu|author2= Xiaoou Tang|year=2014|class=cs.CV|eprint=1404.3840 }}</ref>

Veículos treinados em aprendizado profundo agora interpretam visualizações de câmera de 360°.<ref>[http://www.technologyreview.com/news/533936/nvidia-demos-a-car-computer-trained-with-deep-learning/ Nvidia Demos a Car Computer Trained with "Deep Learning"] (06-01-2015), David Talbot, ''[[MIT Technology Review]]''</ref> Outro exemplo é a Análise de Novas Dismorfologias Faciais (FDNA), usada para analisar casos de malformações humanas conectados a um grande banco de dados de síndromes genéticas.

===Processamento de artes visuais===
[[Imagem:Jimmy Wales in France, with the style of Munch's "The Scream" applied using neural style transfer.jpg|thumb|164x164px|Processamento de arte visual de Jimmy Wales na França, com o estilo de "[[O Grito]]" de Munch aplicado usando transferência de estilo neural]]
Estreitamente relacionada ao progresso que foi feito no reconhecimento de imagens está a aplicação crescente de técnicas de aprendizado profundo a várias tarefas de artes visuais. As redes neurais profundas provaram ser capazes, por exemplo, de
*identificar o período de estilo de uma determinada pintura<ref name=art1/><ref name=art2/>
*<!--[[:en:Neural Style Transfer]]-->Transferência de estilo neural – capturar o estilo de uma determinada obra de arte e aplicá-lo de uma maneira visualmente agradável a uma fotografia ou vídeo arbitrário<ref name=art1/><ref name=art2/>
*gerar imagens impressionantes com base em campos de entrada visual aleatórios.<ref name=art1 >{{Cite journal|author1=G. W. Smith|author2=Frederic Fol Leymarie|date=10-04-2017|title=The Machine as Artist: An Introduction|journal=Arts|volume=6|issue=4|pages=5|doi=10.3390/arts6020005|doi-access=free}}</ref><ref name=art2>{{Cite journal|author=Blaise Agüera y Arcas|date=29-09-2017|title=Art in the Age of Machine Intelligence|journal=Arts|volume=6|issue=4|pages=18|doi=10.3390/arts6040018|doi-access=free}}</ref>

===Processamento de linguagem natural===
{{Artigo principal|Processamento de linguagem natural}}
As redes neurais têm sido usadas para implementar modelos de linguagem desde o início dos anos 2000.<ref name="gers2001" /> A memória de curto prazo longa ajudou a melhorar a tradução automática e a modelagem de linguagem.<ref name="NIPS2014" /><ref name="vinyals2016" /><ref name="gillick2015" />

Outras técnicas-chave neste campo são a amostragem negativa<ref name="GoldbergLevy2014">{{Cite arXiv|last1=Goldberg|first1=Yoav|last2=Levy|first2=Omar|title=word2vec Explained: Deriving Mikolov et al.'s Negative-Sampling Word-Embedding Method|eprint=1402.3722|class=cs.CL|year=2014}}</ref> e a [[Word embedding|incorporação de palavras]]. A incorporação de palavras, como <!--[[:en:Word2vec]]-->''word2vec'', pode ser considerada uma camada representacional em uma arquitetura de aprendizagem profunda que transforma uma palavra atômica em uma representação posicional da palavra em relação a outras palavras no conjunto de dados; a posição é representada como um ponto em um [[espaço vetorial]]. Usar a incorporação de palavras como uma camada de entrada da rede neural recorrente permite que a rede analise sentenças e frases usando uma gramática vetorial composicional eficaz. Uma gramática vetorial composicional pode ser considerada uma [[Gramática livre de contexto estocástica|gramática livre de contexto probabilística]] (PCFG) implementada por uma rede neural recorrente.<ref name="SocherManning2014">{{Cite web|last1=Socher|first1=Richard|last2=Manning|first2=Christopher|title=Deep Learning for NLP|url=http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf|access-date=26-10-2014|archive-date=2014-07-06|archive-url=https://web.archive.org/web/20140706040227/http://nlp.stanford.edu/courses/NAACL2013/NAACL2013-Socher-Manning-DeepLearning.pdf|url-status=live}}</ref> Os autocodificadores recursivos construídos sobre incorporações de palavras podem avaliar a similaridade de sentenças e detectar paráfrases.<ref name="SocherManning2014" /> Arquiteturas neurais profundas fornecem os melhores resultados para análise de constituintes,<ref>{{Cite journal|url=http://aclweb.org/anthology/P/P13/P13-1045.pdf|title=Parsing With Compositional Vector Grammars|last1=Socher|first1=Richard|date=2013|journal=Proceedings of the ACL 2013 Conference|last2=Bauer|first2=John|last3=Manning|first3=Christopher|last4=Ng|first4=Andrew|access-date=2014-09-03|archive-date=2014-11-27|archive-url=https://web.archive.org/web/20141127005912/http://www.aclweb.org/anthology/P/P13/P13-1045.pdf|url-status=live}}</ref> <!--[[:en:Sentiment analysis]]-->análise de sentimentos,<ref name=RDM_1>{{Cite book|title=Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing|author1=Socher, R.|author2=Perelygin, A.|author3=Wu, J.|author4=Chuang, J.|author5=Manning, C.D.|author6=Ng, A.|author7=Potts, C.|chapter=Recursive Deep Models for Semantic Compositionality over a Sentiment Treebank|chapter-url=https://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf|publisher=Association for Computational Linguistics|date=10-2013|pages=1631–1642|doi=10.18653/v1/D13-1170|access-date=21-12-2023|url-status=live|archive-url=https://web.archive.org/web/20161228100300/http://nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf|archive-date=2016-12-28}}</ref> recuperação de informações,<ref>{{Cite journal|last1=Shen|first1=Yelong|last2=He|first2=Xiaodong|last3=Gao|first3=Jianfeng|last4=Deng|first4=Li|last5=Mesnil|first5=Gregoire|date=01-11-2014|title=A Latent Semantic Model with Convolutional-Pooling Structure for Information Retrieval|url=https://www.microsoft.com/en-us/research/publication/a-latent-semantic-model-with-convolutional-pooling-structure-for-information-retrieval/|journal=Microsoft Research|access-date=14-06-2017|archive-date=2017-10-27|archive-url=https://web.archive.org/web/20171027050418/https://www.microsoft.com/en-us/research/publication/a-latent-semantic-model-with-convolutional-pooling-structure-for-information-retrieval/|url-status=live}}</ref><ref>{{Cite journal|last1=Huang|first1=Po-Sen|last2=He|first2=Xiaodong|last3=Gao|first3=Jianfeng|last4=Deng|first4=Li|last5=Acero|first5=Alex|last6=Heck|first6=Larry|date=01-10-2013|title=Learning Deep Structured Semantic Models for Web Search using Clickthrough Data|url=https://www.microsoft.com/en-us/research/publication/learning-deep-structured-semantic-models-for-web-search-using-clickthrough-data/|journal=Microsoft Research|access-date=14-06-2017|archive-date=2017-10-27|archive-url=https://web.archive.org/web/20171027050414/https://www.microsoft.com/en-us/research/publication/learning-deep-structured-semantic-models-for-web-search-using-clickthrough-data/|url-status=live}}</ref> compreensão de linguagem falada,<ref name="IEEE-TASL2015">{{Cite journal|last1=Mesnil|first1=G.|last2=Dauphin|first2=Y.|last3=Yao|first3=K.|last4=Bengio|first4=Y.|last5=Deng|first5=L.|last6=Hakkani-Tur|first6=D.<!--|author6-link=en:Dilek Hakkani-Tür-->|last7=He|first7=X.|last8=Heck|first8=L.|last9=Tur|first9=G.|last10=Yu|first10=D.|last11=Zweig|first11=G.|s2cid=1317136|year=2015|title=Using recurrent neural networks for slot filling in spoken language understanding|journal=IEEE Transactions on Audio, Speech, and Language Processing|volume=23|issue=3|pages=530–539|doi=10.1109/taslp.2014.2383614}}</ref> tradução automática,<ref name="NIPS2014">{{Cite journal|last1=Sutskever|first1=L.|last2=Vinyals|first2=O.|last3=Le|first3=Q.|date=2014|title=Sequence to Sequence Learning with Neural Networks|url=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf|journal=Proc. NIPS|bibcode=2014arXiv1409.3215S|arxiv=1409.3215|access-date=2017-06-13|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123145/https://papers.nips.cc/paper/2014/file/a14ac55a4f27472c5d894ec1c3c743d2-Paper.pdf|url-status=live}}</ref><ref name="auto">{{Cite journal|last1=Gao|first1=Jianfeng|last2=He|first2=Xiaodong|last3=Yih|first3=Scott Wen-tau|last4=Deng|first4=Li|date=01-06-2014|title=Learning Continuous Phrase Representations for Translation Modeling|url=https://www.microsoft.com/en-us/research/publication/learning-continuous-phrase-representations-for-translation-modeling/|journal=Microsoft Research|access-date=14-06-2017|archive-date=2017-10-27|archive-url=https://web.archive.org/web/20171027050403/https://www.microsoft.com/en-us/research/publication/learning-continuous-phrase-representations-for-translation-modeling/|url-status=live}}</ref> vinculação de entidades contextuais,<ref name="auto"/> reconhecimento de estilo de escrita,<ref name="BROC2017">{{Cite journal|doi=10.1002/dac.3259|title=Authorship verification using deep belief network systems|journal=International Journal of Communication Systems|volume=30|issue=12|pages=e3259|year=2017|last1=Brocardo|first1=Marcelo Luiz|last2=Traore|first2=Issa|last3=Woungang|first3=Isaac|last4=Obaidat|first4=Mohammad S.|s2cid=40745740 }}</ref> [[Reconhecimento de entidade mencionada|reconhecimento de entidades nomeadas]] (classificação de tokens),<ref>{{Cite journal|last1=Kariampuzha|first1=William|last2=Alyea|first2=Gioconda|last3=Qu|first3=Sue|last4=Sanjak|first4=Jaleal|last5=Mathé|first5=Ewy|last6=Sid|first6=Eric|last7=Chatelaine|first7=Haley|last8=Yadaw|first8=Arjun|last9=Xu|first9=Yanji|last10=Zhu|first10=Qian|date=2023|title=Precision information extraction for rare disease epidemiology at scale|journal=Journal of Translational Medicine|language=en|volume=21|issue=1|page=157|doi=10.1186/s12967-023-04011-y|pmid=36855134|pmc=9972634|doi-access=free }}</ref> classificação de texto e outros.<ref>{{Cite news|url=https://www.microsoft.com/en-us/research/project/deep-learning-for-natural-language-processing-theory-and-practice-cikm2014-tutorial/|title=Deep Learning for Natural Language Processing: Theory and Practice (CIKM2014 Tutorial) - Microsoft Research|work=Microsoft Research|access-date=14-06-2017|archive-date=2017-03-13|archive-url=https://web.archive.org/web/20170313184253/https://www.microsoft.com/en-us/research/project/deep-learning-for-natural-language-processing-theory-and-practice-cikm2014-tutorial/|url-status=live}}</ref>

Desenvolvimentos recentes generalizam a [[Word embedding|incorporação de palavras]] para a <!--[[:en:Sentence embedding]]-->incorporação de frases.

O [[Google Tradutor|Google Translate]] (GT) usa uma grande rede de [[Long short-term memory|memória de curto prazo longa]] (LSTM) de ponta a ponta.<ref name="GT_Turovsky_2016">{{Cite web|url=https://blog.google/products/translate/found-translation-more-accurate-fluent-sentences-google-translate/|title=Found in translation: More accurate, fluent sentences in Google Translate|last=Turovsky|first=Barak|date=15-11-2016|website=The Keyword Google Blog|access-date=23-03-2017|archive-date=2017-04-07|archive-url=https://web.archive.org/web/20170407071226/https://blog.google/products/translate/found-translation-more-accurate-fluent-sentences-google-translate/|url-status=live}}</ref><ref name="googleblog_GNMT_2016">{{Cite web|url=https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html|title=Zero-Shot Translation with Google's Multilingual Neural Machine Translation System|last1=Schuster|first1=Mike|last2=Johnson|first2=Melvin|date=22-11-2016|website=Google Research Blog|access-date=23-03-2017|last3=Thorat|first3=Nikhil|archive-date=2017-07-10|archive-url=https://web.archive.org/web/20170710183732/https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html|url-status=live}}</ref><ref name="GoogleTranslate">{{Cite arXiv|eprint=1609.08144|last1=Wu|first1=Yonghui|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|last2=Schuster|first2=Mike|last3=Chen|first3=Zhifeng|last4=Le|first4=Quoc V|last5=Norouzi|first5=Mohammad|last6=Macherey|first6=Wolfgang|last7=Krikun|first7=Maxim|last8=Cao|first8=Yuan|last9=Gao|first9=Qin|last10=Macherey|first10=Klaus|last11=Klingner|first11=Jeff|last12=Shah|first12=Apurva|last13=Johnson|first13=Melvin|last14=Liu|first14=Xiaobing|last15=Kaiser|first15=Łukasz|last16=Gouws|first16=Stephan|last17=Kato|first17=Yoshikiyo|last18=Kudo|first18=Taku|last19=Kazawa|first19=Hideto|last20=Stevens|first20=Keith|last21=Kurian|first21=George|last22=Patil|first22=Nishant|last23=Wang|first23=Wei|last24=Young|first24=Cliff|last25=Smith|first25=Jason|last26=Riesa|first26=Jason|last27=Rudnick|first27=Alex|last28=Vinyals|first28=Oriol|last29=Corrado|first29=Greg|last30=Hughes|first30=Macduff|display-authors=29|class=cs.CL|year=2016}}</ref><ref name="WiredGoogleTranslate">{{Cite magazine|title=An Infusion of AI Makes Google Translate More Powerful Than Ever|first=Cade|last=Metz|magazine=[[Wired (magazine)|Wired]]|date=27-09-2016|url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|access-date=12-10-2017|archive-date=2020-11-08|archive-url=https://web.archive.org/web/20201108101324/https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|url-status=live }}</ref> A <!--[[:en:Google Neural Machine Translation]]-->Google Neural Machine Translation (GNMT) usa um método de <!--[[:en:Example-based machine translation]]-->tradução automática baseada em exemplos no qual o sistema "aprende com milhões de exemplos".<ref name="googleblog_GNMT_2016" /> Ela traduz "frases inteiras de uma vez, em vez de partes". O Google Translate oferece suporte a mais de cem idiomas.<ref name="googleblog_GNMT_2016" /> A rede codifica a "semântica da frase em vez de simplesmente memorizar traduções frase a frase".<ref name="googleblog_GNMT_2016" /><ref name="Biotet">{{Cite web|url=http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf|title=MT on and for the Web|last1=Boitet|first1=Christian|last2=Blanchon|first2=Hervé|date=2010|access-date=01-12-2016|last3=Seligman|first3=Mark|last4=Bellynck|first4=Valérie|archive-date=2017-03-29|archive-url=https://web.archive.org/web/20170329125916/http://www-clips.imag.fr/geta/herve.blanchon/Pdfs/NLP-KE-10.pdf|urlmorta=sim}}</ref> O Google Translate usa o inglês como intermediário entre a maioria dos pares de idiomas.<ref name="Biotet" />

===Descoberta de medicamentos e toxicologia===
{{Para|mais informações|Toxicologia<!--|-->}}
Uma grande porcentagem de medicamentos candidatos não consegue obter aprovação regulatória. Essas falhas são causadas por eficácia insuficiente (efeito no alvo), interações indesejadas (efeitos fora do alvo) ou [[Toxicidade|efeitos tóxicos]] imprevistos.<ref name="ARROWSMITH2013">{{Cite journal|pmid=23903212|year=2013|last1=Arrowsmith|first1=J|title=Trial watch: Phase II and phase III attrition rates 2011-2012|journal=Nature Reviews Drug Discovery|volume=12|issue=8|pages=569|last2=Miller|first2=P|s2cid=20246434|doi=10.1038/nrd4090|doi-access=free}}</ref><ref name="VERBIEST2015">{{Cite journal|pmid=25582842|year=2015|last1=Verbist|first1=B|title=Using transcriptomics to guide lead optimization in drug discovery projects: Lessons learned from the QSTAR project|journal=Drug Discovery Today|last2=Klambauer|first2=G|last3=Vervoort|first3=L|last4=Talloen|first4=W|last5=The Qstar|first5=Consortium|last6=Shkedy|first6=Z|last7=Thas|first7=O|last8=Bender|first8=A|last9=Göhlmann|first9=H. W.|last10=Hochreiter|first10=S|doi=10.1016/j.drudis.2014.12.014|volume=20|issue=5|pages=505–513|doi-access=free|hdl=1942/18723|hdl-access=free}}</ref> A pesquisa explorou o uso de aprendizagem profunda para prever os <!--[[:en:Biomolecular target]]-->alvos biomoleculares,<ref name="MERCK2012">{{Cite web|title=Merck Molecular Activity Challenge|url=https://kaggle.com/c/MerckActivity|url-status=live|archive-url=https://web.archive.org/web/20200716190808/https://www.kaggle.com/c/MerckActivity|archive-date=2020-07-16|access-date=2020-07-16|website=kaggle.com}}</ref><ref name=":5">{{Cite web|title=Multi-task Neural Networks for QSAR Predictions {{!}} Data Science Association|url=http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions|url-status=live|archive-url=https://web.archive.org/web/20170430142049/http://www.datascienceassn.org/content/multi-task-neural-networks-qsar-predictions|archive-date=2017-04-30|access-date=14-06-2017|website=www.datascienceassn.org}}</ref> <!--[[:en:Off-target]]-->alvos fora do alvo e [[Toxicidade|efeitos tóxicos]] de produtos químicos ambientais em nutrientes, produtos domésticos e medicamentos.<ref name="TOX21">"Toxicology in the 21st century Data Challenge"</ref><ref name="TOX21Data">{{Cite web|title=NCATS Announces Tox21 Data Challenge Winners|url=https://tripod.nih.gov/tox21/challenge/leaderboard.jsp|url-status=live|archive-url=https://web.archive.org/web/20150908025122/https://tripod.nih.gov/tox21/challenge/leaderboard.jsp|archive-date=2015-09-08|access-date=2015-03-05}}</ref><ref name=":11">{{Cite web|title=NCATS Announces Tox21 Data Challenge Winners|url=http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html|urlmorta=sim|archive-url=https://web.archive.org/web/20150228225709/http://www.ncats.nih.gov/news-and-events/features/tox21-challenge-winners.html|archive-date=2015-02-28|access-date=05-03-2015}}</ref>

A AtomNet é um sistema de aprendizagem profunda para [[Desenho de fármacos|design de medicamentos racional]] baseado em estrutura.<ref>{{Cite arXiv|title=AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery|eprint=1510.02855|date=09-10-2015|first1=Izhar|last1=Wallach|first2=Michael|last2=Dzamba|first3=Abraham|last3=Heifets|class=cs.LG}}</ref> A AtomNet foi usada para prever novas biomoléculas candidatas para alvos de doenças como o [[vírus Ebola]]<ref name="Toronto">{{Cite news|title=Toronto startup has a faster way to discover effective medicines|url=https://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/|website=[[The Globe and Mail]]|access-date=09-11-2015|archive-date=2015-10-20|archive-url=https://web.archive.org/web/20151020040115/http://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/|url-status=live}}</ref> e [[esclerose múltipla]].<ref>{{Cite web|title=Startup Harnesses Supercomputers to Seek Cures|url=http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/|website=KQED Future of You|date=27-05-2015|access-date=09-11-2015|archive-date=2015-12-24|archive-url=https://web.archive.org/web/20151224104721/http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/|url-status=live}}</ref><ref name="Toronto" />

Em 2017, <!--[[:en:Graph neural network]]-->redes neurais de grafos foram usadas pela primeira vez para prever várias propriedades de moléculas em um grande conjunto de dados de toxicologia.<ref>{{Cite arXiv|last1=Gilmer|first1=Justin|last2=Schoenholz|first2=Samuel S.|last3=Riley|first3=Patrick F.|last4=Vinyals|first4=Oriol|last5=Dahl|first5=George E.|date=2017-06-12|title=Neural Message Passing for Quantum Chemistry|class=cs.LG|eprint=1704.01212}}</ref> Em 2019, redes neurais generativas foram usadas para produzir moléculas que foram validadas experimentalmente em camundongos.<ref>{{Cite journal|last1=Zhavoronkov|first1=Alex|s2cid=201716327|date=2019|title=Deep learning enables rapid identification of potent DDR1 kinase inhibitors|journal=Nature Biotechnology|volume=37|issue=9|pages=1038–1040|doi=10.1038/s41587-019-0224-x|pmid=31477924}}</ref><ref>{{Cite magazine|last1=Gregory|first1=Barber|title=A Molecule Designed By AI Exhibits 'Druglike' Qualities|url=https://www.wired.com/story/molecule-designed-ai-exhibits-druglike-qualities/|magazine=Wired|access-date=2019-09-05|archive-date=2020-04-30|archive-url=https://web.archive.org/web/20200430143244/https://www.wired.com/story/molecule-designed-ai-exhibits-druglike-qualities/|url-status=live }}</ref>

===Gestão de relacionamento com o cliente===
{{Artigo principal|Gestão de relacionamento com o cliente}}
A <!--[[:en:Deep reinforcement learning]]-->aprendizagem de reforço profunda tem sido usada para aproximar o valor de possíveis ações de [[marketing direto]], definidas em termos de variáveis de recenticidade, frequência, e valor monetário (RFM). A função de valor estimado demonstrou ter uma interpretação natural como [[Valor de tempo de vida|valor de vida útil do cliente]].<ref>{{Cite arXiv|last=Tkachenko|first=Yegor|title=Autonomous CRM Control via CLV Approximation with Deep Reinforcement Learning in Discrete and Continuous Action Space|date=08-04-2015|eprint=1504.01840|class=cs.LG}}</ref>

===Sistemas de recomendações===
{{Artigo principal|Sistema de recomendação}}
Os sistemas de recomendações têm usado o aprendizagem profunda para extrair recursos significativos para um modelo de fator latente para recomendações de músicas e periódicos baseadas em conteúdo.<ref>{{Cite book|url=http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|title=Advances in Neural Information Processing Systems 26|last1=van den Oord|first1=Aaron|last2=Dieleman|first2=Sander|last3=Schrauwen|first3=Benjamin|date=2013|publisher=Curran Associates, Inc.|editor-last=Burges|editor-first=C. J. C.|pages=2643–2651|editor-last2=Bottou|editor-first2=L.|editor-last3=Welling|editor-first3=M.|editor-last4=Ghahramani|editor-first4=Z.|editor-last5=Weinberger|editor-first5=K. Q.|access-date=2017-06-14|archive-date=2017-05-16|archive-url=https://web.archive.org/web/20170516185259/http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|url-status=live}}</ref><ref>{{Cite journal|last1=Feng|first1=X.Y.|last2=Zhang|first2=H.|last3=Ren|first3=Y.J.|last4=Shang|first4=P.H.|last5=Zhu|first5=Y.|last6=Liang|first6=Y.C.|last7=Guan|first7=R.C.|last8=Xu|first8=D.|year=2019|title=The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study|journal=[[Journal of Medical Internet Research]]|volume=21|issue=5|page=e12957|doi=10.2196/12957|pmid=31127715|pmc=6555124|doi-access=free }}</ref> A aprendizagem profunda multivisualização foi aplicada para aprender as preferências dos usuários de vários domínios.<ref>{{Cite journal|last1=Elkahky|first1=Ali Mamdouh|last2=Song|first2=Yang|last3=He|first3=Xiaodong|date=01-05-2015|title=A Multi-View Deep Learning Approach for Cross Domain User Modeling in Recommendation Systems|url=https://www.microsoft.com/en-us/research/publication/a-multi-view-deep-learning-approach-for-cross-domain-user-modeling-in-recommendation-systems/|journal=Microsoft Research|access-date=14-06-2017|archive-date=2018-01-25|archive-url=https://web.archive.org/web/20180125134534/https://www.microsoft.com/en-us/research/publication/a-multi-view-deep-learning-approach-for-cross-domain-user-modeling-in-recommendation-systems/|url-status=live}}</ref> O modelo usa uma abordagem híbrida colaborativa e baseada em conteúdo e aprimora as recomendações em várias tarefas.

===Bioinformática===
{{Artigo principal|Bioinformática}}
Uma rede neural artificial <!--[[:en:Autoencoder]]-->autocodificadora foi usada em [[bioinformática]] para prever relações entre funções genéticas e anotações de [[ontologia genética]].<ref>{{Cite book|first1=Davide|last1=Chicco|first2=Peter|last2=Sadowski|first3=Pierre|last3=Baldi|title=Proceedings of the 5th ACM Conference on Bioinformatics, Computational Biology, and Health Informatics|chapter=Deep autoencoder neural networks for gene ontology annotation predictions|s2cid=207217210|date=01-01-2014|publisher=ACM|pages=533–540|doi=10.1145/2649387.2649442|isbn=9781450328944|hdl=11311/964622|url=http://dl.acm.org/citation.cfm?id=2649442|access-date=23-11-2015|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123140/https://dl.acm.org/doi/10.1145/2649387.2649442|url-status=live}}</ref>

Na informática médica, a aprendizagem profunda foi usada para prever a qualidade do sono com base em dados de wearables<ref>{{Cite journal|last=Sathyanarayana|first=Aarti|s2cid=3821594|date=01-01-2016|title=Sleep Quality Prediction From Wearable Data Using Deep Learning|journal=JMIR mHealth and uHealth|volume=4|issue=4|doi=10.2196/mhealth.6562|pmid=27815231|pmc=5116102|pages=e125|doi-access=free}}</ref> e previsões de complicações de saúde a partir de dados de [[Prontuário Eletrônico|registros de saúde eletrônicos]].<ref>{{Cite journal|last1=Choi|first1=Edward|last2=Schuetz|first2=Andy|last3=Stewart|first3=Walter F.|last4=Sun|first4=Jimeng|date=13-08-2016|title=Using recurrent neural network models for early detection of heart failure onset|journal=Journal of the American Medical Informatics Association|volume=24|issue=2|pages=361–370|doi=10.1093/jamia/ocw112|issn=1067-5027|pmid=27521897|pmc=5391725}}</ref>

Redes neurais profundas têm mostrado desempenho incomparável na <!--[[:en:Protein structure prediction]]-->previsão de estruturas de proteínas, de acordo com a sequência dos aminoácidos que as compõem. Em 2020, a [[AlphaFold]], um sistema baseado em aprendizagem profunda, atingiu um nível de precisão significativamente maior do que todos os métodos computacionais anteriores.<ref>{{Cite web|title=DeepMind's protein-folding AI has solved a 50-year-old grand challenge of biology|url=https://www.technologyreview.com/2020/11/30/1012712/deepmind-protein-folding-ai-solved-biology-science-drugs-disease/|access-date=2024-05-10|website=MIT Technology Review|language=en}}</ref><ref>{{Cite web|last=Shead|first=Sam|date=2020-11-30|title=DeepMind solves 50-year-old 'grand challenge' with protein folding A.I.|url=https://www.cnbc.com/2020/11/30/deepmind-solves-protein-folding-grand-challenge-with-alphafold-ai.html|access-date=2024-05-10|website=CNBC|language=en}}</ref>

===Estimativas de redes neurais profundas===
Redes neurais profundas podem ser usadas para estimar a entropia de um [[processo estocástico]] e chamadas de estimadora de entropia conjunta neural (NJEE).<ref name="SPB22">{{Cite journal|last1=Shalev|first1=Y.|last2=Painsky|first2=A.|last3=Ben-Gal|first3=I.|title=Neural Joint Entropy Estimation|journal=IEEE Transactions on Neural Networks and Learning Systems|language=en|date=2022|volume=PP|issue=4|pages=5488–5500|url=https://www.iradbengal.sites.tau.ac.il/_files/ugd/901879_d51bc0a620734585b5d3154488b3ae84.pdf|doi=10.1109/TNNLS.2022.3204919|pmid=36155469|arxiv=2012.11197|s2cid=229339809 }}</ref> Tal estimativa fornece percepções sobre os efeitos de variáveis aleatórias de entrada em uma [[variável aleatória]] independente. Praticamente, a rede neural profunda é treinada como uma [[Classificação estatística|classificadora]] que mapeia um <!--[[:en:Vector (mathematics and physics)]]-->vetor ou uma [[Matriz (matemática)|matriz]] X de entrada para uma [[distribuição de probabilidade]] de saída sobre as classes possíveis da variável aleatória Y, dada a entrada X. Por exemplo, em tarefas de [[Visão computacional#Reconhecimento|classificação de imagens]], a estimadora de entropia conjunta neural mapeia um vetor de valores de cores de [[pixel]]s para probabilidades sobre possíveis classes de imagens. Na prática, a distribuição de probabilidade de Y é obtida por uma camada de [[Função softmax|Softmax]] com número de nós que é igual ao tamanho do [[alfabeto]] de Y. A estimadora de entropia conjunta neural usa <!--[[:en:Activation function]]-->funções de ativação continuamente diferenciáveis, de modo que as condições para o [[Teorema da aproximação universal|teorema de aproximação universal]] sejam mantidas. É mostrado que este método fornece uma <!--[[:en:Consistent estimator]]-->estimadora consistente fortemente e supera outros métodos no caso de tamanhos de alfabetos grandes.<ref name="SPB22" />

===Análise de imagens médicas===
Foi demonstrado que a aprendizagem profunda produz resultados competitivos em aplicações médicas, como classificação de células cancerígenas, detecção de lesões, segmentação de órgãos e aprimoramento de imagens.<ref>{{Cite journal|last1=Litjens|first1=Geert|last2=Kooi|first2=Thijs|last3=Bejnordi|first3=Babak Ehteshami|last4=Setio|first4=Arnaud Arindra Adiyoso|last5=Ciompi|first5=Francesco|last6=Ghafoorian|first6=Mohsen|last7=van der Laak|first7=Jeroen A.W.M.|last8=van Ginneken|first8=Bram|last9=Sánchez|first9=Clara I.|s2cid=2088679|date=12-2017|title=A survey on deep learning in medical image analysis|journal=Medical Image Analysis|volume=42|pages=60–88|doi=10.1016/j.media.2017.07.005|pmid=28778026|arxiv=1702.05747|bibcode=2017arXiv170205747L}}</ref><ref>{{Cite book|doi=10.1109/ICCVW.2017.18|isbn=9781538610343|chapter=Deep Convolutional Neural Networks for Detecting Cellular Changes Due to Malignancy|title=2017 IEEE International Conference on Computer Vision Workshops (ICCVW)|pages=82–89|year=2017|last1=Forslid|first1=Gustav|last2=Wieslander|first2=Hakan|last3=Bengtsson|first3=Ewert|last4=Wahlby|first4=Carolina|last5=Hirsch|first5=Jan-Michael|last6=Stark|first6=Christina Runow|last7=Sadanandan|first7=Sajith Kecheril|s2cid=4728736|chapter-url=http://urn.kb.se/resolve?urn=urn:nbn:se:uu:diva-326160|access-date=2019-11-12|archive-date=2021-05-09|archive-url=https://web.archive.org/web/20210509123157/https://d1bxh8uas1mnw7.cloudfront.net/assets/embed.js|url-status=live}}</ref> As ferramentas modernas de aprendizagem profunda demonstram a alta precisão na detecção de várias doenças e a utilidade de seu uso por especialistas para melhorar a eficiência do diagnóstico.<ref>{{Cite journal|last1=Dong|first1=Xin|last2=Zhou|first2=Yizhao|last3=Wang|first3=Lantian|last4=Peng|first4=Jingfeng|last5=Lou|first5=Yanbo|last6=Fan|first6=Yiqun|date=2020|title=Liver Cancer Detection Using Hybridized Fully Convolutional Neural Network Based on Deep Learning Framework|journal=IEEE Access|volume=8|pages=129889–129898|doi=10.1109/ACCESS.2020.3006362|bibcode=2020IEEEA...8l9889D|s2cid=220733699|issn=2169-3536|doi-access=free }}</ref><ref>{{Cite journal|last1=Lyakhov|first1=Pavel Alekseevich|last2=Lyakhova|first2=Ulyana Alekseevna|last3=Nagornov|first3=Nikolay Nikolaevich|date=2022-04-03|title=System for the Recognizing of Pigmented Skin Lesions with Fusion and Analysis of Heterogeneous Data Based on a Multimodal Neural Network|journal=Cancers|language=en|volume=14|issue=7|pages=1819|doi=10.3390/cancers14071819|pmid=35406591|pmc=8997449|issn=2072-6694|doi-access=free }}</ref>

===Publicidade móvel===
Encontrar o público móvel apropriado para <!--[[:en:Mobile advertising]]-->publicidade móvel é sempre desafiador, pois muitos pontos de dados devem ser considerados e analisados antes que um segmento alvo possa ser criado e usado na veiculação de anúncios por qualquer servidor de anúncios.<ref>{{Cite book|doi=10.1109/CSCITA.2017.8066548|isbn=978-1-5090-4381-1|chapter=Predicting the popularity of instagram posts for a lifestyle magazine using deep learning|title=2017 2nd International Conference on Communication Systems, Computing and IT Applications (CSCITA)|pages=174–177|year=2017|last1=De|first1=Shaunak|last2=Maity|first2=Abhishek|last3=Goel|first3=Vritti|last4=Shitole|first4=Sanjay|last5=Bhattacharya|first5=Avik|s2cid=35350962}}</ref> A aprendizagem profunda tem sido usada para interpretar grandes conjuntos de dados de publicidade multidimensionais. Muitos pontos de dados são coletados durante o ciclo de solicitação/veiculação/clique de publicidade na Internet. Essas informações podem formar a base do aprendizado de máquina para melhorar a seleção de anúncios.

===Restauração de imagens===
A aprendizagem profunda foi aplicada com sucesso a [[Problema inverso|problemas inversos]], como <!--[[:en:Denoising]]-->redução de ruído, <!--[[:en:Super-resolution]]-->super-resolução, <!--[[:en:Inpainting]]-->pintura interna e [[colorização de filmes]].<ref>{{Cite news|url=https://blog.floydhub.com/colorizing-and-restoring-old-images-with-deep-learning/|title=Colorizing and Restoring Old Images with Deep Learning|date=13-11-2018|website=FloydHub Blog|language=en|access-date=11-10-2019|archive-date=2019-10-11|archive-url=https://web.archive.org/web/20191011162814/https://blog.floydhub.com/colorizing-and-restoring-old-images-with-deep-learning/|url-status=live}}</ref> Essas aplicações incluem métodos de aprendizado como "campos de encolhimento para restauração eficaz de imagens"<ref>{{Cite conference|url=http://research.uweschmidt.org/pubs/cvpr14schmidt.pdf|first1=Uwe|last1=Schmidt|first2=Stefan|last2=Roth|conference=Computer Vision and Pattern Recognition (CVPR), 2014 IEEE Conference on|title=Shrinkage Fields for Effective Image Restoration|access-date=2018-01-01|archive-date=2018-01-02|archive-url=https://web.archive.org/web/20180102013217/http://research.uweschmidt.org/pubs/cvpr14schmidt.pdf|url-status=live }}</ref>, que treina em um conjunto de dados de imagens, e <!--[[:en:Deep Image Prior]]-->Deep Image Prior, que treina na imagem que precisa de restauração.

===Detecção de fraudes financeiras===
A aprendizagem profunda está sendo aplicada com sucesso à <!--[[:en:Fraud detection]]-->detecção de [[fraude]]s financeiras, à detecção de evasão fiscal<ref>{{Cite journal|first1=Christos|last1=Kleanthous|first2=Sotirios|last2=Chatzis|title=Gated Mixture Variational Autoencoders for Value Added Tax audit case selection|journal=Knowledge-Based Systems|volume=188|year=2020|page=105048|doi=10.1016/j.knosys.2019.105048|s2cid=204092079}}</ref> e ao combate à lavagem de dinheiro.<ref>{{Cite journal|first=Tomasz|last=Czech|title=Deep learning: the next frontier for money laundering detection|url=https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/|journal=Global Banking and Finance Review|date=28-06-2018|access-date=2018-07-15|archive-date=2018-11-16|archive-url=https://web.archive.org/web/20181116082711/https://www.globalbankingandfinance.com/deep-learning-the-next-frontier-for-money-laundering-detection/|url-status=live}}</ref>

===Ciência dos materiais===
Em novembro de 2023, pesquisadores da [[DeepMind|Google DeepMind]] e do [[Laboratório Nacional Lawrence Berkeley|Lawrence Berkeley National Laboratory]] anunciaram que desenvolveram um sistema de IA conhecido como GNoME. Este sistema contribuiu para a [[ciência dos materiais]] ao descobrir mais de 2 milhões de novos materiais em um período de tempo relativamente curto. O GNoME emprega técnicas de aprendizagem profunda para explorar com eficiência potenciais estruturas de materiais, alcançando um aumento significativo na identificação de [[Estrutura cristalina|estruturas cristalinas]] inorgânicas estáveis. As previsões do sistema foram validadas por meio de experimentos robóticos autônomos, demonstrando uma notável taxa de sucesso de 71%. Os dados de materiais recém-descobertos estão disponíveis publicamente por meio do banco de dados do <!--[[:en:Materials Project]]-->Materials Project, oferecendo aos pesquisadores a oportunidade de identificar materiais com propriedades desejadas para várias aplicações. Este desenvolvimento tem implicações para o futuro da descoberta científica e a integração da IA na pesquisa de ciência dos materiais, potencialmente agilizando a inovação de materiais e reduzindo custos no desenvolvimento de produtos. O uso de IA e aprendizagem profunda sugere a possibilidade de minimizar ou eliminar experimentos manuais de laboratório e permitir que os cientistas se concentrem mais no design e na análise de compostos exclusivos.<ref>{{Cite web|last=Nuñez|first=Michael|date=2023-11-29|title=Google DeepMind's materials AI has already discovered 2.2 million new crystals|url=https://venturebeat.com/ai/google-deepminds-materials-ai-has-already-discovered-2-2-million-new-crystals/|access-date=2023-12-19|website=VentureBeat|language=en-US}}</ref><ref>{{Cite journal|last1=Merchant|first1=Amil|last2=Batzner|first2=Simon|last3=Schoenholz|first3=Samuel S.|last4=Aykol|first4=Muratahan|last5=Cheon|first5=Gowoon|last6=Cubuk|first6=Ekin Dogus|date=12-2023|title=Scaling deep learning for materials discovery|journal=Nature|language=en|volume=624|issue=7990|pages=80–85|doi=10.1038/s41586-023-06735-9|issn=1476-4687|doi-access=free|pmid=38030720|pmc=10700131|bibcode=2023Natur.624...80M }}</ref><ref>{{Cite journal|last=Peplow|first=Mark|date=2023-11-29|title=Google AI and robots join forces to build new materials|url=https://www.nature.com/articles/d41586-023-03745-5|journal=Nature|language=en|doi=10.1038/d41586-023-03745-5|pmid=38030771|s2cid=265503872 }}</ref>

===Militar===
O Departamento de Defesa dos Estados Unidos aplicou o aprendizagem profunda para treinar robôs em novas tarefas por meio da observação.<ref name=":12">{{Cite web|url=https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php|title=Army researchers develop new algorithms to train robots|website=EurekAlert!|access-date=29-08-2018|archive-date=2018-08-28|archive-url=https://web.archive.org/web/20180828035608/https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php|url-status=live}}</ref>

===Equações diferenciais parciais===
Redes neurais informadas por física têm sido usadas para resolver [[Equação diferencial parcial|equações diferenciais parciais]] em problemas diretos e inversos de uma maneira orientada por dados.<ref>{{Cite journal|last1=Raissi|first1=M.|last2=Perdikaris|first2=P.|last3=Karniadakis|first3=G. E.|date=2019-02-01|title=Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations|journal=Journal of Computational Physics|language=en|volume=378|pages=686–707|doi=10.1016/j.jcp.2018.10.045|bibcode=2019JCoPh.378..686R|osti=1595805|s2cid=57379996|issn=0021-9991|doi-access=free}}</ref> Um exemplo é a reconstrução do fluxo de fluido governado pelas [[Equações de Navier-Stokes|equações de Navier e Stokes]]. Usar redes neurais informadas por física não requer a geração de malha frequentemente cara da qual os métodos de [[fluidodinâmica computacional]] (CFD) convencionais dependem.<ref>{{Cite journal|last1=Mao|first1=Zhiping|last2=Jagtap|first2=Ameya D.|last3=Karniadakis|first3=George Em|date=2020-03-01|title=Physics-informed neural networks for high-speed flows|journal=Computer Methods in Applied Mechanics and Engineering|language=en|volume=360|pages=112789|doi=10.1016/j.cma.2019.112789|bibcode=2020CMAME.360k2789M|s2cid=212755458|issn=0045-7825|doi-access=free}}</ref><ref>{{Cite journal|last1=Raissi|first1=Maziar|last2=Yazdani|first2=Alireza|last3=Karniadakis|first3=George Em|date=2020-02-28|title=Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations|journal=Science|volume=367|issue=6481|pages=1026–1030|doi=10.1126/science.aaw4741|pmc=7219083|pmid=32001523|bibcode=2020Sci...367.1026R}}</ref>

===Método de equação diferencial estocástica regressiva profundo===
O <!--[[:en:Deep backward stochastic differential equation method]]-->método de equação diferencial estocástica regressiva profunda é um método numérico que combina aprendizagem profunda com <!--[[:en:Backward stochastic differential equation]]-->equação diferencial estocástica regressiva (BSDE). Este método é particularmente útil para resolver problemas de alta dimensão em matemática financeira. Ao alavancar os poderosos recursos de aproximação de função de [[#Redes neurais profundas|redes neurais profundas]], a equação diferencial estocástica regressiva profunda aborda os desafios computacionais enfrentados por métodos numéricos tradicionais em configurações de altas dimensões. Especificamente, métodos tradicionais como métodos de diferença finita ou simulações de Monte Carlo frequentemente lutam com a maldição da dimensionalidade, onde o custo computacional aumenta exponencialmente com o número de dimensões. Os métodos de equação diferencial estocástica regressiva profunda, no entanto, empregam redes neurais profundas para aproximar soluções de equações diferenciais parciais (PDEs) de altas dimensões, reduzindo efetivamente a carga computacional.<ref name="Han2018">{{Cite journal|last1=Han|first1=J.|last2=Jentzen|first2=A.|last3=E|first3=W.|title=Solving high-dimensional partial differential equations using deep learning|journal=Proceedings of the National Academy of Sciences|volume=115|issue=34|pages=8505–8510|year=2018|doi=10.1073/pnas.1718942115|doi-access=free|pmid=30082389|pmc=6112690|arxiv=1707.02568|bibcode=2018PNAS..115.8505H }}</ref>


Além disso, a integração de <!--[[:en:Physics-informed neural networks]]-->redes neurais informadas por física (PINNs) na estrutura de equação diferencial estocástica regressiva profunda aumenta sua capacidade ao incorporar as leis físicas subjacentes diretamente na arquitetura da rede neural. Isso garante que as soluções não apenas se ajustem aos dados, mas também adiram às equações diferenciais estocásticas governantes. As redes neurais informadas por física alavancam o poder da aprendizagem profunda, respeitando as restrições impostas pelos modelos físicos, resultando em soluções mais precisas e confiáveis para problemas de matemática financeira.

===Reconstrução de imagens===
A reconstrução de imagens é a reconstrução das imagens subjacentes a partir das medições relacionadas às imagens. Vários trabalhos mostraram o desempenho melhor e superior dos métodos de aprendizagem profunda em comparação aos métodos analíticos para várias aplicações, por exemplo, imagens espectrais <ref>{{Cite journal|last1=Oktem|first1=Figen S.|last2=Kar|first2=Oğuzhan Fatih|last3=Bezek|first3=Can Deniz|last4=Kamalabadi|first4=Farzad|date=2021|title=High-Resolution Multi-Spectral Imaging With Diffractive Lenses and Learned Reconstruction|url=https://ieeexplore.ieee.org/document/9415140|journal=IEEE Transactions on Computational Imaging|volume=7|pages=489–504|doi=10.1109/TCI.2021.3075349|arxiv=2008.11625|s2cid=235340737|issn=2333-9403}}</ref> e imagens de ultrassom.<ref>{{Cite journal|last1=Bernhardt|first1=Melanie|last2=Vishnevskiy|first2=Valery|last3=Rau|first3=Richard|last4=Goksel|first4=Orcun|date=12-2020|title=Training Variational Networks With Multidomain Simulations: Speed-of-Sound Image Reconstruction|url=https://ieeexplore.ieee.org/document/9144249|journal=IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control|volume=67|issue=12|pages=2584–2594|doi=10.1109/TUFFC.2020.3010186|pmid=32746211|arxiv=2006.14395|s2cid=220055785|issn=1525-8955}}</ref>

===Previsão do tempo===
Os sistemas tradicionais de previsão do tempo resolvem um sistema muito complexo de equações diferenciais parciais. O GraphCast é um modelo baseado em aprendizagem profunda, treinado em um longo histórico de dados meteorológicos para prever como os padrões climáticos mudam ao longo do tempo. Ele é capaz de prever as condições climáticas por até 10 dias globalmente, em um nível muito detalhado e em menos de um minuto, com precisão semelhante aos sistemas de última geração.<ref>{{Cite journal|last1=Lam|first1=Remi|last2=Sanchez-Gonzalez|first2=Alvaro|last3=Willson|first3=Matthew|last4=Wirnsberger|first4=Peter|last5=Fortunato|first5=Meire|last6=Alet|first6=Ferran|last7=Ravuri|first7=Suman|last8=Ewalds|first8=Timo|last9=Eaton-Rosen|first9=Zach|last10=Hu|first10=Weihua|last11=Merose|first11=Alexander|last12=Hoyer|first12=Stephan|last13=Holland|first13=George|last14=Vinyals|first14=Oriol|last15=Stott|first15=Jacklynn|date=2023-12-22|title=Learning skillful medium-range global weather forecasting|journal=Science|language=en|volume=382|issue=6677|pages=1416–1421|doi=10.1126/science.adi2336|issn=0036-8075|doi-access=free|pmid=37962497|arxiv=2212.12794|bibcode=2023Sci...382.1416L }}</ref><ref>{{Cite web|last=Sivakumar|first=Ramakrishnan|date=2023-11-27|title=GraphCast: A breakthrough in Weather Forecasting|url=https://ramkrishna2910.medium.com/graphcast-a-breakthrough-in-weather-forecasting-d70fae9ac365|access-date=2024-05-19|website=Medium|language=en}}</ref>

===Relógio epigenético===
<!---->
Um relógio epigenético é um <!--[[:en:Biomarkers of aging]]-->teste bioquímico que pode ser usado para medir a idade. Galkin et al. usaram redes neurais profundas para treinar um relógio de envelhecimento epigenético de precisão sem precedentes usando mais de 6.000 amostras de sangue.<ref>{{Cite journal|last1=Galkin|first1=F.|last2=Mamoshina|first2=P.|last3=Kochetov|first3=K.|last4=Sidorenko|first4=D.|last5=Zhavoronkov|first5=A.|year=2020|title=DeepMAge: A Methylation Aging Clock Developed with Deep Learning|journal=Aging and Disease|doi=10.14336/AD|doi-access=free}}</ref> O relógio usa informações de 1000 [[Sítio CpG|sítios CpG]] e prevê pessoas com certas condições mais velhas do que controles saudáveis: [[doença inflamatória intestinal]] (DII), [[demência frontotemporal]], [[câncer ovariano]], [[obesidade]]. O relógio de envelhecimento foi planejado para ser lançado para uso público em 2021 por uma empresa subproduto da <!--[[:en:Insilico Medicine]]-->Insilico Medicine, a Deep Longevity.

==Relação com o desenvolvimento cerebral e cognitivo humano==
A aprendizagem profunda está intimamente relacionado a uma classe de teorias de <!--[[:en:Brain development]]-->desenvolvimento cerebral (especificamente, desenvolvimento neocortical) propostas por [[Neurociência cognitiva|neurocientistas cognitivos]] no início da década de 1990.<ref name="UTGOFF">{{Cite journal|last1=Utgoff|first1=P. E.|last2=Stracuzzi|first2=D. J.|s2cid=1119517|year=2002|title=Many-layered learning|journal=Neural Computation|volume=14|issue=10|pages=2497–2529|doi=10.1162/08997660260293319|pmid=12396572}}</ref><ref name="ELMAN">{{Cite book|url={{Google books|plainurl=y|id=vELaRu_MrwoC}}|title=Rethinking Innateness: A Connectionist Perspective on Development|last=Elman|first=Jeffrey L.|publisher=MIT Press|year=1998|isbn=978-0-262-55030-7}}</ref><ref name="SHRAGER">{{Cite journal|last1=Shrager|first1=J.|last2=Johnson|first2=MH|year=1996|title=Dynamic plasticity influences the emergence of function in a simple cortical array|journal=Neural Networks|volume=9|issue=7|pages=1119–1129|doi=10.1016/0893-6080(96)00033-0|pmid=12662587}}</ref><ref name="QUARTZ">{{Cite journal|last1=Quartz|first1=SR|last2=Sejnowski|first2=TJ|year=1997|title=The neural basis of cognitive development: A constructivist manifesto|journal=Behavioral and Brain Sciences|volume=20|issue=4|pages=537–556|doi=10.1017/s0140525x97001581|pmid=10097006|citeseerx=10.1.1.41.7854|s2cid=5818342}}</ref> Essas teorias de desenvolvimento foram instanciadas em modelos computacionais, tornando-as predecessoras de sistemas de aprendizagem profunda. Esses modelos de desenvolvimento compartilham a propriedade de que várias dinâmicas de aprendizado propostas no cérebro (por exemplo, uma onda de [[fator de crescimento nervoso]]) suportam a [[auto-organização]] de forma um tanto análoga às redes neurais utilizadas em modelos de aprendizagem profunda. Como o [[neocórtex]], as redes neurais empregam uma hierarquia de filtros em camadas em que cada camada considera informações de uma camada anterior (ou do ambiente operacional) e, em seguida, passa sua saída (e possivelmente a entrada original) para outras camadas. Esse processo produz uma pilha auto-organizada de [[transdutor]]es, bem ajustada ao seu ambiente operacional. Uma descrição de 1995 declarou: "...o cérebro do bebê parece se organizar sob a influência de ondas dos chamados fatores tróficos... diferentes regiões do cérebro se conectam sequencialmente, com uma camada de tecido amadurecendo antes da outra e assim por diante até que todo o cérebro esteja maduro".<ref name="BLAKESLEE">S. Blakeslee, "In brain's early growth, timetable may be critical" (em inglês), The New York Times, Science Section, pp. B5–B6, 1995.</ref>

Uma variedade de abordagens tem sido usada para investigar a plausibilidade de modelos de aprendizagem profunda de uma perspectiva neurobiológica. Por um lado, várias variantes do algoritmo de <!--[[:en:Backpropagation]]-->retropropagação foram propostas para aumentar seu realismo de processamento.<ref>{{Cite journal|last1=Mazzoni|first1=P.|last2=Andersen|first2=R. A.|last3=Jordan|first3=M. I.|date=15-05-1991|title=A more biologically plausible learning rule for neural networks.|journal=Proceedings of the National Academy of Sciences|volume=88|issue=10|pages=4433–4437|doi=10.1073/pnas.88.10.4433|issn=0027-8424|pmid=1903542|pmc=51674|bibcode=1991PNAS...88.4433M|doi-access=free}}</ref><ref>{{Cite journal|last=O'Reilly|first=Randall C.|s2cid=2376781|date=01-07-1996|title=Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm|journal=Neural Computation|volume=8|issue=5|pages=895–938|doi=10.1162/neco.1996.8.5.895|issn=0899-7667}}</ref> Outros pesquisadores argumentaram que formas não supervisionadas de aprendizagem profunda, como aquelas baseadas em <!--[[:en:Generative model]]-->modelos generativos hierárquicos e <!--[[:en:Deep belief network]]-->redes de crenças profundas, podem estar mais próximas da realidade biológica.<ref>{{Cite journal|last1=Testolin|first1=Alberto|last2=Zorzi|first2=Marco|s2cid=9868901|date=2016|title=Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions|journal=Frontiers in Computational Neuroscience|volume=10|pages=73|doi=10.3389/fncom.2016.00073|pmid=27468262|pmc=4943066|issn=1662-5188|doi-access=free}}</ref><ref>{{Cite journal|last1=Testolin|first1=Alberto|last2=Stoianov|first2=Ivilin|last3=Zorzi|first3=Marco|s2cid=24504018|date=09-2017|title=Letter perception emerges from unsupervised deep learning and recycling of natural image features|journal=Nature Human Behaviour|volume=1|issue=9|pages=657–664|doi=10.1038/s41562-017-0186-2|pmid=31024135|issn=2397-3374}}</ref> A esse respeito, modelos de rede neural generativa têm sido relacionados a evidências neurobiológicas sobre processamento baseado em amostragem no córtex cerebral.<ref>{{Cite journal|last1=Buesing|first1=Lars|last2=Bill|first2=Johannes|last3=Nessler|first3=Bernhard|last4=Maass|first4=Wolfgang|s2cid=7504633|date=03-11-2011|title=Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons|journal=PLOS Computational Biology|volume=7|issue=11|pages=e1002211|doi=10.1371/journal.pcbi.1002211|pmid=22096452|pmc=3207943|issn=1553-7358|bibcode=2011PLSCB...7E2211B|doi-access=free}}</ref>

Embora uma comparação sistemática entre a organização do cérebro humano e a codificação neuronal em redes profundas ainda não tenha sido estabelecida, várias analogias foram relatadas. Por exemplo, as computações realizadas por unidades de aprendizagem profunda podem ser semelhantes às de neurônios reais<ref>{{Cite journal|last1=Cash|first1=S.|last2=Yuste|first2=R.|date=02-1999|title=Linear summation of excitatory inputs by CA1 pyramidal neurons|journal=Neuron|volume=22|issue=2|pages=383–394|issn=0896-6273|pmid=10069343|doi=10.1016/s0896-6273(00)81098-3|s2cid=14663106|doi-access=free}}</ref> e populações neurais.<ref>{{Cite journal|date=01-08-2004|title=Sparse coding of sensory inputs|journal=Current Opinion in Neurobiology|volume=14|issue=4|pages=481–487|doi=10.1016/j.conb.2004.07.007|pmid=15321069|issn=0959-4388|last1=Olshausen|first1=B|last2=Field|first2=D|s2cid=16560320}}</ref> Da mesma forma, as representações desenvolvidas por modelos de aprendizagem profunda são semelhantes às medidas no sistema visual de primatas<ref>{{Cite journal|last1=Yamins|first1=Daniel L K|last2=DiCarlo|first2=James J|s2cid=16970545|date=03-2016|title=Using goal-driven deep learning models to understand sensory cortex|journal=Nature Neuroscience|volume=19|issue=3|pages=356–365|doi=10.1038/nn.4244|pmid=26906502|issn=1546-1726}}</ref> tanto nos níveis de unidade única<ref>{{Cite journal|last1=Zorzi|first1=Marco|last2=Testolin|first2=Alberto|s2cid=39281431|date=19-02-2018|title=An emergentist perspective on the origin of number sense|journal=Phil. Trans. R. Soc. B|volume=373|issue=1740|pages=20170043|doi=10.1098/rstb.2017.0043|issn=0962-8436|pmid=29292348|pmc=5784047}}</ref> quanto nos níveis de população.<ref>{{Cite journal|last1=Güçlü|first1=Umut|last2=van Gerven|first2=Marcel A. J.|date=08-07-2015|title=Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream|journal=Journal of Neuroscience|volume=35|issue=27|pages=10005–10014|doi=10.1523/jneurosci.5023-14.2015|pmid=26157000|pmc=6605414|arxiv=1411.6422}}</ref>

==Atividade comercial==
O laboratório de IA do [[Facebook]] realiza tarefas como <!--[[:en:Automatic image annotation]]-->marcar automaticamente fotos carregadas com os nomes das pessoas nelas.<ref name="METZ2013">{{Cite magazine|first=C.|last=Metz|title=Facebook's 'Deep Learning' Guru Reveals the Future of AI|url=https://www.wired.com/wiredenterprise/2013/12/facebook-yann-lecun-qa/|magazine=Wired|date=12-12-2013|access-date=2017-08-26|archive-date=2014-03-28|archive-url=https://web.archive.org/web/20140328071226/http://www.wired.com/wiredenterprise/2013/12/facebook-yann-lecun-qa/|url-status=live}}</ref>

A [[DeepMind|DeepMind Technologies]] do Google desenvolveu um sistema capaz de aprender a jogar videogames [[Atari]] usando apenas pixels como entrada de dados. Em 2015, eles demonstraram seu sistema [[AlphaGo]], que aprendeu o jogo [[Go]] bem o suficiente para vencer um jogador profissional de Go.<ref>{{Cite journal|title=Google AI algorithm masters ancient game of Go|journal=Nature|year=2016|doi=10.1038/529445a|last1=Gibney|first1=Elizabeth|volume=529|issue=7587|pages=445–446|pmid=26819021|bibcode=2016Natur.529..445G|s2cid=4460235|doi-access=free}}</ref><ref>{{Cite journal|title=Mastering the game of Go with deep neural networks and tree search|journal=[[Nature]]|issn=0028-0836|pages=484–489|volume=529|issue=7587|doi=10.1038/nature16961|pmid=26819042|first1=David|last1=Silver<!--|author-link1=en:David Silver (programmer)-->|first2=Aja|last2=Huang<!--|author-link2=en:Aja Huang-->|first3=Chris J.|last3=Maddison|first4=Arthur|last4=Guez|first5=Laurent|last5=Sifre|first6=George van den|last6=Driessche|first7=Julian|last7=Schrittwieser|first8=Ioannis|last8=Antonoglou|first9=Veda|last9=Panneershelvam|first10=Marc|last10=Lanctot|first11=Sander|last11=Dieleman|first12=Dominik|last12=Grewe|first13=John|last13=Nham|first14=Nal|last14=Kalchbrenner|first15=Ilya|last15=Sutskever|author-link15=Ilya Sutskever|first16=Timothy|last16=Lillicrap|first17=Madeleine|last17=Leach|first18=Koray|last18=Kavukcuoglu|first19=Thore|last19=Graepel|first20=Demis|last20=Hassabis|s2cid=515925|author-link20=Demis Hassabis|date=28-01-2016|bibcode=2016Natur.529..484S}}{{Acesso fechado}}</ref><ref>{{Cite web|title=A Google DeepMind Algorithm Uses Deep Learning and More to Master the Game of Go {{!}} MIT Technology Review|url=http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/|website=MIT Technology Review|access-date=30-01-2016|archive-date=2016-02-01|archive-url=https://web.archive.org/web/20160201140636/http://www.technologyreview.com/news/546066/googles-ai-masters-the-game-of-go-a-decade-earlier-than-expected/|urlmorta=sim}}</ref> O [[Google Translate]] usa uma rede neural para traduzir entre mais de 100 idiomas.

Em 2017, foi lançado o Covariant.ai, que se concentra na integração da aprendizagem profunda em fábricas.<ref>{{Cite news|url=https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html|title=A.I. Researchers Leave Elon Musk Lab to Begin Robotics Start-Up|first=Cade|last=Metz|newspaper=The New York Times|date=06-11-2017|access-date=05-07-2019|archive-date=2019-07-07|archive-url=https://web.archive.org/web/20190707161547/https://www.nytimes.com/2017/11/06/technology/artificial-intelligence-start-up.html|url-status=live}}</ref>

Em 2008,<ref>{{Cite book|author1=Bradley Knox, W.|author2=Stone, Peter|title=2008 7th IEEE International Conference on Development and Learning|chapter=TAMER: Training an Agent Manually via Evaluative Reinforcement|year=2008|pages=292–297|doi=10.1109/devlrn.2008.4640845|isbn=978-1-4244-2661-4|s2cid=5613334}}</ref> pesquisadores da [[Universidade do Texas em Austin]] (UT) desenvolveram uma estrutura de aprendizado de máquina chamada Treinando um Agente Manualmente via Reforço Avaliativo, ou TAMER, que propôs novos métodos para robôs ou programas de computador aprenderem a executar tarefas interagindo com um instrutor humano.<ref name=":12">{{Cite web|url=https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php|title=Army researchers develop new algorithms to train robots|website=EurekAlert!|access-date=29-08-2018|archive-date=2018-08-28|archive-url=https://web.archive.org/web/20180828035608/https://www.eurekalert.org/pub_releases/2018-02/uarl-ard020218.php|url-status=live}}</ref> Desenvolvido inicialmente como TAMER, um novo algoritmo chamado Deep TAMER foi posteriormente introduzido em 2018 durante uma colaboração entre o [[Army Research Laboratory|Laboratório de Pesquisa do Exército dos EUA]] (ARL) e pesquisadores da UT. O Deep TAMER usou a aprendizagem profunda para fornecer a um robô a capacidade de aprender novas tarefas por meio da observação.<ref name=":12" /> Usando o Deep TAMER, um robô aprendeu uma tarefa com um treinador humano, assistindo a transmissões de vídeo ou observando um humano executar uma tarefa pessoalmente. O robô posteriormente praticou a tarefa com a ajuda de algum treinamento do treinador, que forneceu feedback como "bom trabalho" e "trabalho ruim".<ref>{{Cite web|url=https://governmentciomedia.com/talk-algorithms-ai-becomes-faster-learner|title=Talk to the Algorithms: AI Becomes a Faster Learner|website=governmentciomedia.com|date=16-05-2018|access-date=29-08-2018|archive-date=2018-08-28|archive-url=https://web.archive.org/web/20180828001727/https://governmentciomedia.com/talk-algorithms-ai-becomes-faster-learner|url-status=live|lang=en}}</ref>

==Críticas e comentários==
A aprendizagem profunda atraiu críticas e comentários, em alguns casos de fora do campo da ciência da computação.
===Teoria===
{{VT|Inteligência artificial explicável}}
Uma crítica principal diz respeito à falta de teoria em torno de alguns métodos.<ref>{{Cite web|url=https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1|title=In defense of skepticism about deep learning|last=Marcus|first=Gary|date=14-01-2018|website=Gary Marcus|access-date=11-10-2018|archive-date=2018-10-12|archive-url=https://web.archive.org/web/20181012035405/https://medium.com/@GaryMarcus/in-defense-of-skepticism-about-deep-learning-6e8bfd5ae0f1|url-status=live}}</ref> A aprendizagem nas arquiteturas profundas mais comuns é implementada usando a descida de gradiente bem compreendida. No entanto, a teoria em torno de outros algoritmos, como a divergência contrastiva, é menos clara.<!----> (por exemplo, Converge? Se sim, quão rápido? O que está se aproximando?) Os métodos de aprendizagem profunda são frequentemente vistos como uma [[Caixa preta (teoria dos sistemas)|caixa-preta]], com a maioria das confirmações feitas empiricamente, em vez de teoricamente.<ref name="Knight 2017">{{Cite web|last=Knight|first=Will|title=DARPA is funding projects that will try to open up AI's black boxes|website=MIT Technology Review|date=14-03-2017|url=https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/|access-date=02-11-2017|archive-date=2019-11-04|archive-url=https://web.archive.org/web/20191104033107/https://www.technologyreview.com/s/603795/the-us-military-wants-its-autonomous-machines-to-explain-themselves/|url-status=live}}</ref>

Em referência adicional à ideia de que a sensibilidade artística pode ser inerente a níveis relativamente baixos da hierarquia cognitiva, uma série publicada de representações gráficas dos estados internos de redes neurais profundas (20-30 camadas) tentando discernir dentro de dados essencialmente aleatórios as imagens nas quais foram treinadas<ref>{{Cite web|url=http://googleresearch.blogspot.co.uk/2015/06/inceptionism-going-deeper-into-neural.html|author1=Alexander Mordvintsev|author2=Christopher Olah|author3=Mike Tyka|date=17-06-2015|title=Inceptionism: Going Deeper into Neural Networks|publisher=Google Research Blog|access-date=20-06-2015|archive-date=2015-07-03|archive-url=https://web.archive.org/web/20150703064823/http://googleresearch.blogspot.co.uk/2015/06/inceptionism-going-deeper-into-neural.html|url-status=live}}</ref> demonstra um apelo visual: o aviso de pesquisa original recebeu bem mais de 1.000 comentários e foi o assunto do que foi por um tempo o artigo mais acessado no site do [[The Guardian]].<ref>{{Cite news|url=https://www.theguardian.com/technology/2015/jun/18/google-image-recognition-neural-network-androids-dream-electric-sheep|title=Yes, androids do dream of electric sheep|date=18-06-2015|newspaper=The Guardian|author=Alex Hern|access-date=20-06-2015|archive-date=2015-06-19|archive-url=https://web.archive.org/web/20150619200845/http://www.theguardian.com/technology/2015/jun/18/google-image-recognition-neural-network-androids-dream-electric-sheep|url-status=live}}</ref>

===Erros===
Algumas arquiteturas de aprendizagem profunda apresentam comportamentos problemáticos,<ref name=goertzel>{{Cite web|first=Ben|last=Goertzel|title=Are there Deep Reasons Underlying the Pathologies of Today's Deep Learning Algorithms?|year=2015|url=http://goertzel.org/DeepLearning_v1.pdf|access-date=2015-05-10|archive-date=2015-05-13|archive-url=https://web.archive.org/web/20150513053107/http://goertzel.org/DeepLearning_v1.pdf|url-status=live}}</ref> como classificar com segurança imagens irreconhecíveis como pertencentes a uma categoria familiar de imagens comuns (2014)<ref>{{Cite arXiv|eprint=1412.1897|last1=Nguyen|first1=Anh|title=Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images|last2=Yosinski|first2=Jason|last3=Clune|first3=Jeff|class=cs.CV|year=2014}}</ref> e classificar incorretamente perturbações minúsculas de imagens classificadas corretamente (2013).<ref>{{Cite arXiv|eprint=1312.6199|last1=Szegedy|first1=Christian|title=Intriguing properties of neural networks|last2=Zaremba|first2=Wojciech|last3=Sutskever|first3=Ilya|last4=Bruna|first4=Joan|last5=Erhan|first5=Dumitru|last6=Goodfellow|first6=Ian|last7=Fergus|first7=Rob|class=cs.CV|year=2013}}</ref> <!--[[:en:Ben Goertzel]]-->Goertzel levantou a hipótese de que esses comportamentos são devidos a limitações em suas representações internas e que essas limitações inibiriam a integração em arquiteturas heterogêneas de [[inteligência artificial geral]] (AGI) multicomponente.<ref name="goertzel" /> Essas questões podem ser possivelmente abordadas por arquiteturas de aprendizagem profunda que formam internamente estados homólogos às decomposições de gramática de imagem<ref>{{Cite journal|last1=Zhu|first1=S.C.|last2=Mumford|first2=D.|year=2006|title=A stochastic grammar of images|journal=Found. Trends Comput. Graph. Vis.|volume=2|issue=4|pages=259–362|doi=10.1561/0600000018|citeseerx=10.1.1.681.2190}}</ref> de entidades e eventos observados.<ref name="goertzel"/> <!--[[:en:Grammar induction]]-->Aprender uma gramática (visual ou linguística) a partir de dados de treinamento seria equivalente a restringir o sistema ao raciocínio de <!--[[:en:Commonsense reasoning]]-->senso comum que opera em conceitos em termos de [[Produção (ciência da computação)|regras de produção]] gramatical e é um objetivo básico tanto da aquisição da linguagem humana<ref>Miller, G. A., and N. Chomsky. "Pattern conception" (em inglês). Paper for Conference on pattern detection, University of Michigan. 1957.</ref> quanto da [[inteligência artificial]] (IA).<ref>{{Cite web|first=Jason|last=Eisner|title=Deep Learning of Recursive Structure: Grammar Induction|url=http://techtalks.tv/talks/deep-learning-of-recursive-structure-grammar-induction/58089/|access-date=2015-05-10|archive-date=2017-12-30|archive-url=https://web.archive.org/web/20171230010335/http://techtalks.tv/talks/deep-learning-of-recursive-structure-grammar-induction/58089/|urlmorta=sim}}</ref>

===Ameaça cibernética===
À medida que a aprendizagem profunda sai do laboratório para o mundo, pesquisas e experiências mostram que redes neurais artificiais são vulneráveis a hacks e enganos.<ref>{{Cite web|url=https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425|title=Hackers Have Already Started to Weaponize Artificial Intelligence|website=Gizmodo|date=11-09-2017|access-date=11-10-2019|archive-date=2019-10-11|archive-url=https://web.archive.org/web/20191011162231/https://gizmodo.com/hackers-have-already-started-to-weaponize-artificial-in-1797688425|url-status=live}}</ref> Ao identificar os padrões que esses sistemas usam para funcionar, os invasores podem modificar entradas para as redes neurais artificiais de tal forma que a rede neural artificial encontre uma correspondência que observadores humanos não reconheceriam. Por exemplo, um invasor pode fazer mudanças sutis em uma imagem de tal forma que a rede neural artificial encontre uma correspondência, mesmo que a imagem não pareça nada com o alvo da pesquisa para um humano. Tal manipulação é denominada "[[Aprendizado de máquina adversário|ataque adversário]]".<ref>{{Cite web|url=https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/|title=How hackers can force AI to make dumb mistakes|date=18-06-2018|website=The Daily Dot|language=en|access-date=11-10-2019|archive-date=2019-10-11|archive-url=https://web.archive.org/web/20191011162230/https://www.dailydot.com/debug/adversarial-attacks-ai-mistakes/|url-status=live}}</ref>

Em 2016, pesquisadores usaram uma rede neural artificial para manipular imagens por tentativa e erro, identificar os pontos focais de outra e, assim, gerar imagens que a enganassem. As imagens modificadas não pareciam diferentes aos olhos humanos. Outro grupo mostrou que impressões de imagens manipuladas e depois fotografadas enganaram com sucesso um sistema de classificação de imagens.<ref name=":4">{{Cite news|url=https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change|title=AI Is Easy to Fool—Why That Needs to Change|date=10-10-2017|work=Singularity Hub|access-date=11-10-2017|archive-date=2017-10-11|archive-url=https://web.archive.org/web/20171011233017/https://singularityhub.com/2017/10/10/ai-is-easy-to-fool-why-that-needs-to-change/|url-status=live}}</ref> Uma defesa é a busca reversa de imagens, na qual uma possível imagem falsa é enviada a um site como o [[TinEye]], que pode então encontrar outras instâncias dela. Um refinamento é pesquisar usando apenas partes da imagem, para identificar imagens das quais aquela parte pode ter sido retirada.<ref>{{Cite journal|last=Gibney|first=Elizabeth|title=The scientist who spots fake videos|url=https://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784|journal=Nature|doi=10.1038/nature.2017.22784|year=2017|access-date=2017-10-11|archive-date=2017-10-10|archive-url=https://web.archive.org/web/20171010011017/http://www.nature.com/news/the-scientist-who-spots-fake-videos-1.22784|url-status=live}}</ref>

Outro grupo mostrou que certos espetáculos [[Arte psicodélica|psicodélicos]] poderiam enganar um [[sistema de reconhecimento facial]], fazendo-o pensar que pessoas comuns eram celebridades, potencialmente permitindo que uma pessoa se passasse por outra. Em 2017, pesquisadores adicionaram adesivos a [[Sinal de stop|placas de pare]] e fizeram com que uma rede neural artificial as classificasse incorretamente.<ref name=":4" />

As redes neurais artificiais podem, no entanto, ser mais treinadas para detectar tentativas de [[engano]], potencialmente levando atacantes e defensores a uma corrida armamentista semelhante ao tipo que já define a indústria de defesa contra [[malware]]. As redes neurais artificiais foram treinadas para derrotar software antimalware baseado em rede neural artificial, atacando repetidamente uma defesa com malware que foi continuamente alterado por um [[algoritmo genético]] até enganar o antimalware, mantendo sua capacidade de danificar o alvo.<ref name=":4" />

Em 2016, outro grupo demonstrou que certos sons poderiam fazer o sistema de comando de voz do [[Google Now]] abrir um endereço da web específico e levantou a hipótese de que isso poderia "servir como um trampolim para novos ataques (por exemplo, abrir uma página da web que hospeda malware drive-by)".<ref name=":4" />

No "[[Aprendizado de máquina adversário#Envenenamento|envenenamento de dados]]", dados falsos são continuamente contrabandeados para o conjunto de treinamento de um sistema de aprendizado de máquina para evitar que ele alcance a maestria.<ref name=":4" />

===Ética na coleta de dados===
Os sistemas de aprendizagem profunda que são treinados usando aprendizagem supervisionada geralmente dependem de dados criados e/ou anotados por humanos.<ref>{{Cite journal|last=Tubaro|first=Paola|date=2020|title=Whose intelligence is artificial intelligence?|url=https://hal.science/hal-03029735|journal=Global Dialogue|language=en|pages=38–39}}</ref> Foi argumentado que não apenas o [[ClickWorkers|trabalho de clique]] mal pago (como no [[Amazon Mechanical Turk]]) é regularmente implantado para esse propósito, mas também formas implícitas de <!--[[:en:Microwork]]-->microtrabalho humano que muitas vezes não são reconhecidas como tal.<ref name=":13">{{Cite journal|last=Mühlhoff|first=Rainer|date=06-11-2019|title=Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning|journal=New Media & Society|language=en|volume=22|issue=10|pages=1868–1884|doi=10.1177/1461444819885334|s2cid=209363848|issn=1461-4448|url=https://depositonce.tu-berlin.de/handle/11303/12510|doi-access=free}}</ref> O filósofo <!--[[:en:Rainer Mühlhoff]]-->Rainer Mühlhoff distingue cinco tipos de "captura maquínica" do microtrabalho humano para gerar dados de treinamento: (1) [[Ludificação|gamificação]] (a incorporação de tarefas de anotação ou computação no fluxo de um jogo), (2) "captura e rastreamento" (por exemplo, [[CAPTCHA]]s para reconhecimento de imagem ou rastreamento de cliques nas [[Página de resultados do mecanismo de pesquisa|páginas de resultados de pesquisas]] do Google), (3) exploração de motivações sociais (por exemplo, <!--[[:en:Tag (Facebook)]]-->marcar rostos no [[Facebook]] para obter imagens faciais rotuladas), (4) [[Mineração de dados|mineração de informações]] (por exemplo, alavancando dispositivos de <!--[[:en:Quantified self]]-->autoquantificação, como [[Rastreador de atividade|rastreadores de atividade]]) e (5) [[ClickWorkers|trabalho de clique]].<ref name=":13" />

==Ver também==
*[[Amostragem compressiva]]
*[[Aprendizado por transferência]]
*[[Codificação neural#Codificação esparsa|Codificação esparsa]]
*[[Lista de projetos de inteligência artificial]]
*[[Máquina de estado líquido]]

{{Referências|col=2}}

==Leitura adicional==
{{InícioRef}}
*{{Cite book|last1=Bishop|first1=Christopher M.|last2=Bishop|first2=Hugh|title=Deep learning: foundations and concepts|date=2024|publisher=Springer|isbn=978-3-031-45467-7}}
*{{Cite book|last1=Prince|first1=Simon J. D.|title=Understanding deep learning|date=2023|publisher=The MIT Press|isbn=9780262048644}}
*{{Cite book|title=Deep Learning|year=2016|first1=Ian|last1=Goodfellow<!--|author-link1=en:Ian Goodfellow-->|first2=Yoshua|last2=Bengio|author-link2=Yoshua Bengio|first3=Aaron|last3=Courville|publisher=MIT Press|url=http://www.deeplearningbook.org|isbn=978-0-26203561-3|postscript=, introductory textbook.|access-date=2021-05-09|archive-date=2016-04-16|archive-url=https://web.archive.org/web/20160416111010/http://www.deeplearningbook.org/|url-status=live}}
{{-fim}}

{{Inteligência artificial}}
{{Controle de autoridade}}
[[Categoria:Aprendizagem profunda]]