Mostrar código-fonte de Long short-term memory

{{Técnico|data=março de 2022}}
{{Barra de aprendizagem de máquina}}
[[Ficheiro:LSTM Cell.svg|miniaturadaimagem|300x300px|A célula de long short-term memory (LSTM) pode processar dados sequencialmente e manter seu estado oculto ao longo do tempo.]]
A '''''long short-term memory''''' (LSTM), em português: '''memória de curto longo prazo''''',''<ref name="lstm1997" /> é uma rede neural recorrente (RNN), projetada para lidar com o problema do gradiente desvanecente<ref name="hochreiter1991" /> presente em RNNs tradicionais. Sua relativa insensibilidade ao comprimento do intervalo é sua vantagem sobre outras RNNs, [[Modelo oculto de Markov|modelos ocultos de Markov]] e outros métodos de aprendizado de sequências. Ela visa fornecer uma memória de curto prazo para RNN que pode durar milhares de passos, daí "curto longo prazo".<ref name="lstm1997" /> É aplicável à [[Classificação estatística|classificação]], processamento e [[previsão]] de dados com base em [[séries temporais]], como em caligrafia,<ref name="graves2009" /> [[reconhecimento de fala]],<ref name="sak2014">{{Cite web|url=https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling|last1=Sak|first1=Hasim|last2=Senior|first2=Andrew|date=2014|archive-url=https://web.archive.org/web/20180424203806/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf|archive-date=2018-04-24|url-status=dead|last3=Beaufays|first3=Francoise}}</ref><ref name="liwu2015">{{cite arXiv|last1=Li|first1=Xiangang|last2=Wu|first2=Xihong|date=2014-10-15|title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|eprint=1410.4281|class=cs.CL}}</ref> [[tradução automática]],<ref name="GoogleTranslate" /><ref name="FacebookTranslate" /> detecção de atividade de fala,<ref>{{cite arXiv |last1=Sahidullah |first1=Md |last2=Patino |first2=Jose |last3=Cornell |first3=Samuele |last4=Yin |first4=Ruiking |last5=Sivasankaran |first5=Sunit |last6=Bredin |first6=Herve |last7=Korshunov |first7=Pavel |last8=Brutti |first8=Alessio |last9=Serizel |first9=Romain |last10=Vincent |first10=Emmanuel |last11=Evans |first11=Nicholas |last12=Marcel |first12=Sebastien |last13=Squartini |first13=Stefano |last14=Barras |first14=Claude |date=2019-11-06 |title=The Speed Submission to DIHARD II: Contributions & Lessons Learned |class=eess.AS |eprint=1911.02388 }}</ref> controle de robôs,<ref name="mayer2006" /><ref name="OpenAIhand" /> vídeo games,<ref name="OpenAIfive" /><ref name="alphastar" /> e cuidados de saúde.<ref name="decade2022" />

Uma unidade LSTM comum é composta por uma célula, uma porta de entrada, uma porta de saída<ref name="hochreiter1996">{{cite conference |last1=Hochreiter |first1=Sepp |last2=Schmidhuber |first2=Juergen |title=LSTM can solve hard long time lag problems |url=https://dl.acm.org/doi/10.5555/2998981.2999048 |conference=Advances in Neural Information Processing Systems |conference-url=https://neurips.cc |year=1996 }}</ref> e uma porta de esquecimento.<ref name="lstm2000" /> A célula lembra valores ao longo de intervalos de tempo arbitrários, e as três ''portas'' regulam o fluxo de informações para dentro e para fora da célula. As portas de esquecimento decidem quais informações descartar do estado anterior, atribuindo ao estado anterior, em comparação com uma entrada atual, um valor entre 0 e 1. Um valor (arredondado) de 1 significa manter a informação, e um valor de 0 significa descartá-la. As portas de entrada decidem quais partes de novas informações armazenar no estado atual, usando o mesmo sistema das portas de esquecimento. As portas de saída controlam quais partes de informações no estado atual produzir, atribuindo um valor de 0 a 1 às informações, considerando os estados anterior e atual. Produzir seletivamente informações relevantes do estado atual permite que a rede LSTM mantenha dependências úteis de longo prazo para fazer previsões, tanto nos passos temporais atuais quanto futuros.
== Motivação ==
Em teoria, redes neurais recorrentes (também chamadas “vanilla”) RNNs podem acompanhar dependências de longo prazo arbitrariamente nas sequências de entrada. O problema com as RNNs "''vanilla''" é de natureza computacional (ou prática): ao treinar uma RNN "''vanilla''" usando retropropagação, os gradientes de longo prazo que são retropropagados podem "desaparecer" (ou seja, podem tender a zero) ou "explodir" (ou seja, podem tender ao infinito),<ref name="hochreiter1991" /> devido aos cálculos envolvidos no processo, que utilizam [[Erro de arredondamento|números de precisão finita]]. RNNs usando unidades LSTM resolvem parcialmente o ''Vanishing Gradient Problem'', também conhecido como Problema do Gradiente Desvanecente, pois as unidades LSTM permitem que os gradientes também fluam ''inalterados''. No entanto, redes LSTM ainda podem sofrer do problema do gradiente explosivo.<ref name="calin2020">{{cite book |last1=Calin |first1=Ovidiu |title=Deep Learning Architectures |date=14 de fevereiro de 2020 |editora=Springer Nature |local=Cham, Suíça |isbn=978-3-030-36720-6 |página=555}}</ref>

O intuito por trás da arquitetura LSTM é criar um módulo adicional em uma rede neural que aprende quando lembrar e quando esquecer informações pertinentes.<ref name="lstm2000" /> Em outras palavras, a rede aprende efetivamente quais informações podem ser necessárias mais tarde em uma sequência e quando essas informações não são mais necessárias. Por exemplo, no contexto de [[processamento de linguagem natural]], a rede pode aprender dependências gramaticais.<ref name="LakretzKruszewskiDesbordes2019">{{citation | last1 = Lakretz | first1 = Yair | last2 = Kruszewski | first2 = German | last3 = Desbordes | first3 = Theo | last4 = Hupkes | first4 = Dieuwke | last5 = Dehaene | first5 = Stanislas | last6 = Baroni | first6 = Marco | title = The emergence of number and syntax units | chapter = The emergence of number and syntax units in | date = 2019 | pages = 11–20 | editora = Association for Computational Linguistics | doi = 10.18653/v1/N19-1002 | hdl = 11245.1/16cb6800-e10d-4166-8e0b-fed61ca6ebb4 | s2cid = 81978369 | url = https://pure.uva.nl/ws/files/49723040/N19_1002.pdf | chapter-url = https://aclanthology.org/N19-1002/}}</ref> Uma LSTM pode processar a frase "Dave, como resultado das alegações controversas dele, é agora uma pária" ao lembrar o gênero e número gramatical (estatisticamente prováveis) do sujeito ''Dave'', observar que essas informações são pertinentes para o pronome ''dele'' e perceber que essas informações não são mais importantes após o verbo ''ser''.

== Variantes ==
Nas equações abaixo, as variáveis em minúsculas representam vetores. As matrizes <math>W_q</math> e <math>U_q</math> contêm, respectivamente, os pesos das conexões de entrada e recorrentes, onde o subscrito <math>_q</math> pode ser a porta de entrada <math>i</math>, a porta de saída <math>o</math>, a porta de esquecimento <math>f</math> ou a célula de memória <math>c</math>, dependendo da ativação que está sendo calculada. Nesta seção, estamos usando uma "notação vetorial". Assim, por exemplo, <math>c_t \in \mathbb{R}^{h}</math> não representa apenas uma unidade de uma célula LSTM, mas apresenta as unidades de <math>h</math> de células LSTM.

=== Porta de esquecimento com LSTM ===
As formas compactas das equações para a passagem direta de uma célula LSTM com uma porta de esquecimento são:<ref name="lstm1997" /><ref name="lstm2000">{{Cite journal |title=Learning to Forget: Continual Prediction with LSTM |journal=Neural Computation |issue=10 |author=Felix A. Gers |year=2000 |pages=2451–2471 |citeseerx=10.1.1.55.5709 |doi=10.1162/089976600300015015 |pmid=11032042 |volume=12 |author2=Jürgen Schmidhuber |author3=Fred Cummins |s2cid=11598600}}</ref>

:<math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} h_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} h_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} h_{t-1} + b_o) \\
\tilde{c}_t &= \sigma_c(W_{c} x_t + U_{c} h_{t-1} + b_c) \\
c_t &= f_t \odot c_{t-1} + i_t \odot \tilde{c}_t \\
h_t &= o_t \odot \sigma_h(c_t)
\end{align}
</math>

onde os valores iniciais são <math>c_0 = 0</math> e <math>h_0 = 0</math> e o operador <math>\odot</math> denota o produto de Hadamard (produto elemento a elemento). O subscrito
<math>t</math> indexa o passo do tempo.
==== Variáveis ====
*<math>x_t \in \mathbb{R}^{d}</math>: vetor de entrada para a unidade LSTM
*<math>f_t \in {(0,1)}^{h}</math>: vetor de ativação da porta de esquecimento
*<math>i_t \in {(0,1)}^{h}</math>: vetor de ativação da porta de entrada/atualização
*<math>o_t \in {(0,1)}^{h}</math>: vetor de ativação da porta de saída
*<math>h_t \in {(-1,1)}^{h}</math>: vetor de estado oculto, também conhecido como vetor de saída da unidade LSTM
*<math>\tilde{c}_t \in {(-1,1)}^{h}</math>: vetor de ativação da entrada da célula
*<math>c_t \in \mathbb{R}^{h}</math>: vetor de estado da célula
*<math>W \in \mathbb{R}^{h \times d}</math>, <math>U \in \mathbb{R}^{h \times h} </math> e <math>b \in \mathbb{R}^{h}</math>: matrizes de pesos e vetor de viés que precisam ser aprendidos durante o treinamento
onde os expoentes <math>d</math> e <math>h</math> referem-se ao número de características de entrada e ao número de unidades ocultas, respectivamente.
==== Funções de Ativação ====
*<math>\sigma_g</math>: [[função sigmoide]].
*<math>\sigma_c</math>: função tangente hiperbólica.
*<math>\sigma_h</math>: função tangente hiperbólica ou, como sugere o artigo da LSTM de orifício de espiada<ref name="peepholeLSTM"/><ref name="peephole2002"/>, <math>\sigma_h(x) = x</math>.
=== LSTM de olho mágico (peepholes) ===
[[File:Peephole_Long_Short-Term_Memory.svg|300px|thumbnail|Uma unidade LSTM de olho mágico com portões de entrada (ou seja, <math>i</math>), saída (ou seja, <math>o</math>) e esquecimento (ou seja, <math>f</math>)]]
A figura à direita é uma representação gráfica de uma unidade LSTM com conexões de olho mágico (ou seja, uma LSTM de olho mágico).<ref name="peepholeLSTM"/><ref name="peephole2002"/> Conexões de LSTM de olho mágico permitem que os portões acessem o carrossel de erro constante (CEC), cuja ativação é o estado da célula.<ref name="peepholeLSTM"/> <math>h_{t-1}</math> não é usado, sendo <math>c_{t-1}</math> usado em seu lugar em sua maior parte.
:<math>
\begin{align}
f_t &= \sigma_g(W_{f} x_t + U_{f} c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} x_t + U_{i} c_{t-1} + b_i) \\
o_t &= \sigma_g(W_{o} x_t + U_{o} c_{t-1} + b_o) \\
c_t &= f_t \odot c_{t-1} + i_t \odot \sigma_c(W_{c} x_t + b_c) \\
h_t &= o_t \odot \sigma_h(c_t)
\end{align}
</math>

Cada um dos portões pode ser considerado como um neurônio "padrão" em uma rede neural feedforward (ou multi-camadas): ou seja, eles calculam uma ativação (usando uma função de ativação) de uma soma ponderada. <math>i_t,  o_t</math> e <math>f_t</math> representam as ativações, respectivamente, dos portões de entrada, saída e esquecimento, no marco de tempo <math>t</math>.

As 3 setas de saída da célula de memória <math>c</math> para os 3 portões <math>i,  o</math> e <math>f</math> representam as conexões de ''olho mágico''. Essas conexões de olho mágico denotam as contribuições da ativação da célula de memória <math>c</math> no marco de tempo <math>t-1</math>, ou seja, a contribuição de <math>c_{t-1}</math> (e não de <math>c_{t}</math> , como a imagem pode sugerir). Em outras palavras, os portões <math>i,  o</math> e <math>f</math>  calculam suas ativações no passo de tempo <math>t</math> (ou seja, <math>i_t,  o_t</math> and <math>f_t</math>) também considerando a ativação da célula de memória <math>c</math> no passo de tempo <math>t - 1</math>, ou seja, <math>c_{t-1}</math>.A única seta da esquerda para a direita que sai da célula de memória ''não'' é uma conexão de olho mágico e denota<math>c_{t}</math>.

Os pequenos círculos contendo um símbolo de <math>\times</math> representam uma multiplicação elemento a elemento entre suas entradas. Os grandes círculos contendo uma curva em forma de ''S'' representam a aplicação de uma função diferenciável (como a função sigmoide) a uma soma ponderada.
=== LSTM de olho mágico convolutional ===
LSTM de olho mágico convolucional.<ref name="shi2015">{{Cite journal
| author = Xingjian Shi
| author2 = Zhourong Chen
| author3 = Hao Wang
| author4 = Dit-Yan Yeung
| author5 = Wai-kin Wong
| author6 = Wang-chun Woo
| title = Rede LSTM Convolucional: Uma Abordagem de Aprendizado de Máquina para Previsão Imediata de Precipitação
| journal = Atas da 28ª Conferência Internacional sobre Sistemas de Informação Neural
| pages = 802–810
| year = 2015
| arxiv = 1506.04214
| bibcode = 2015arXiv150604214S
}}</ref> O símbolo <math>*</math> denota o operador de [[convolução]].
:<math id="Page 4, formula 4 in [33] reference (Ot is calculated for ''C''(''t'') intead of ''C''(''t'' − 1)): https://arxiv.org/abs/1506.04214v2">
\begin{align}
f_t &= \sigma_g(W_{f} * x_t + U_{f} * h_{t-1} + V_{f} \odot c_{t-1} + b_f) \\
i_t &= \sigma_g(W_{i} * x_t + U_{i} * h_{t-1} + V_{i} \odot c_{t-1} + b_i) \\
c_t &= f_t \odot c_{t-1} + i_t \odot \sigma_c(W_{c} * x_t + U_{c} * h_{t-1} + b_c) \\
o_t &= \sigma_g(W_{o} * x_t + U_{o} * h_{t-1} + V_{o} \odot c_{t} + b_o) \\
h_t &= o_t \odot \sigma_h(c_t)
\end{align}
</math>

== Treinamento ==
Uma RNN usando unidades LSTM pode ser treinada de forma supervisionada em um conjunto de sequências de treinamento, usando um algoritmo de otimização como descida do gradiente combinado com retropropagação através do tempo para calcular os gradientes necessários durante o processo de otimização, a fim de alterar cada peso da rede LSTM proporcionalmente à derivada do erro (na camada de saída da rede LSTM) em relação ao peso correspondente.

Um problema ao usar descida do gradiente para RNNs padrão é que os gradientes de erro desaparecem exponencialmente rápido com o tamanho do atraso entre eventos importantes. Isso ocorre porque <math>\lim_{n \to \infty}W^n = 0</math> se o raio espectral de <math>W</math> for menor que 1.<ref name="hochreiter1991" /><ref name="gradf">{{Cite book|chapter-url=https://www.researchgate.net/publication/2839938|chapter=Gradient Flow in Recurrent Nets: the Difficulty of Learning Long-Term Dependencies (PDF Download Available)|last1=Hochreiter|first1=S.|first2=Y. |last2=Bengio|first3=P. |last3=Frasconi |first4=J. |last4=Schmidhuber|editor-first1=S. C. |editor-last1=Kremer and |editor-first2=J. F. |editor-last2=Kolen |title=A Field Guide to Dynamical Recurrent Neural Networks.|date=2001|publisher=IEEE Press}}</ref>

No entanto, com unidades LSTM, quando os valores de erro são retropropagados da camada de saída, o erro permanece na célula da unidade LSTM. Este "carrossel de erro" alimenta continuamente o erro de volta para cada um dos portões da unidade LSTM, até que aprendam a cortar o valor.
=== Função de pontuação CTC ===
Muitas aplicações usam pilhas RNNs LSTM<ref name="fernandez2007ijcai">{{Cite journal |last1=Fernández |first1=Santiago |last2=Graves |first2=Alex |last3=Schmidhuber |first3=Jürgen |date=2007 |title=Rotulagem de sequências em domínios estruturados com redes neurais recorrentes hierárquicas |citeseerx=10.1.1.79.1887 |journal=Proc. 20th Int. Joint Conf. On Artificial Intelligence, Ijcai 2007 |pages=774–779}}</ref> e as treinam com classificação temporal conexa (CTC)<ref name="graves2006">{{Cite journal |last1=Graves |first1=Alex |last2=Fernández |first2=Santiago |last3=Gomez |first3=Faustino |last4=Schmidhuber |first4=Jürgen | date=2006 |title=Classificação temporal conexa: Rotulagem de dados de sequência não segmentada com redes neurais recorrentes |citeseerx=10.1.1.75.6306 |journal=Em Atas da Conferência Internacional sobre Aprendizado de Máquina, ICML 2006 |pages=369–376}}</ref> para encontrar uma matriz de peso RNN que maximize a probabilidade das sequências de rótulos em um conjunto de treinamento, dadas as sequências de entrada correspondentes. CTC alcança tanto o alinhamento quanto o reconhecimento.
=== Alternativas ===
Às vezes, pode ser vantajoso treinar (partes de) uma LSTM por neuroevolução<ref name="wierstra2005" /> ou por métodos de gradiente de política, especialmente quando não há um "professor" (ou seja, rótulos de treinamento).
==== Casos de sucesso ====
Houve várias histórias de sucesso no treinamento, de maneira não supervisionada, de RNNs com unidades LSTM.

Em 2018, [[Bill Gates]] chamou isso de "um grande marco no avanço da inteligência artificial" quando bots desenvolvidos pela [[OpenAI]] foram capazes de vencer humanos no jogo ''Dota 2''.<ref name="OpenAIfive">{{Cite news|url=https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69|title=A Ciência por Trás do OpenAI Five que Acaba de Produzir um dos Maiores Avanços na História da IA|last=Rodriguez|first=Jesus|date=2 de julho de 2018|archive-url=https://web.archive.org/web/20191226222000/https://towardsdatascience.com/the-science-behind-openai-five-that-just-produced-one-of-the-greatest-breakthrough-in-the-history-b045bcdc2b69?gi=24b20ef8ca3f|archive-date=26 de dezembro de 2019|url-status=offline|work=Towards Data Science|access-date=15 de janeiro de 2019}}</ref> O OpenAI Five consiste em cinco redes neurais independentes, porém coordenadas. Cada rede é treinada por um método de gradiente de política sem um professor supervisor e contém uma LSTM de uma camada com 1024 unidades que observa o estado atual do jogo e emite ações por meio de várias possíveis cabeças de ação.<ref name="OpenAIfive" />

Em 2018, a [[OpenAI]] também treinou uma LSTM semelhante por gradientes de política para controlar uma mão robótica semelhante à humana que manipula objetos físicos com destreza sem precedentes.<ref name="OpenAIhand">{{Cite news|url=https://openai.com/research/learning-dexterity/|title=Aprendizado de Destreza|date=30 de julho de 2018|work=OpenAI|access-date=28 de junho de 2023}}</ref>

Em 2019, o programa ''AlphaStar'' da [[DeepMind]] usou um núcleo profundo LSTM para se destacar no complexo jogo de vídeo [[Starcraft II]].<ref name="alphastar">{{Cite news|url=https://medium.com/mlmemoirs/deepminds-ai-alphastar-showcases-significant-progress-towards-agi-93810c94fbe9|title=IA da DeepMind, AlphaStar, Mostra Progresso Significativo em Direção à Inteligência Artificial Geral|last=Stanford|first=Stacy|date=25 de janeiro de 2019|work=Medium ML Memoirs|access-date=15 de janeiro de 2019}}</ref> Isso foi visto como um progresso significativo em direção à Inteligência Artificial Geral.<ref name="alphastar" />
== Aplicações ==
As aplicações da LSTM incluem:
{{Div col|colwidth=25em}}
*Controle de robôs<ref name="mayer2006">{{Cite book|last1=Mayer|first1=H.|last2=Gomez|first2=F.|last3=Wierstra|first3=D.|last4=Nagy|first4=I.|last5=Knoll|first5=A.|last6=Schmidhuber|first6=J.|title=2006 IEEE/RSJ International Conference on Intelligent Robots and Systems |chapter=A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks |date=Outubro de 2006|pages=543–548|doi=10.1109/IROS.2006.282190|isbn=978-1-4244-0258-8|citeseerx=10.1.1.218.3399|s2cid=12284900}}</ref>
*[[Série temporal|Previsão de séries temporais]]<ref name="wierstra2005" >{{Cite journal|last1=Wierstra|first1=Daan|last2=Schmidhuber|first2=J.|last3=Gomez|first3=F. J.|date=2005|title=Evolino: Hybrid Neuroevolution/Optimal Linear Search for Sequence Learning|url=https://www.academia.edu/5830256|journal=Proceedings of the 19th International Joint Conference on Artificial Intelligence (IJCAI), Edinburgh|pages=853–858}}</ref>
*[[Reconhecimento de fala]]<ref name="graves2005">{{cite journal | last1 = Graves | first1 = A. | last2 = Schmidhuber | first2 = J. | year = 2005 | title = Framewise phoneme classification with bidirectional LSTM and other neural network architectures | journal = Neural Networks | volume = 18 | issue = 5–6| pages = 602–610 | doi=10.1016/j.neunet.2005.06.042| pmid = 16112549 | citeseerx = 10.1.1.331.5800 | s2cid = 1856462 }}</ref><ref name="fernandez2007icann">{{Cite book|last1=Fernández|first1=Santiago|last2=Graves|first2=Alex|last3=Schmidhuber|first3=Jürgen|date=2007|title=An Application of Recurrent Neural Networks to Discriminative Keyword Spotting|url=http://dl.acm.org/citation.cfm?id=1778066.1778092|journal=Proceedings of the 17th International Conference on Artificial Neural Networks|series=ICANN'07|location=Berlin, Heidelberg|publisher=Springer-Verlag|pages=220–229|isbn=978-3540746935}}</ref><ref name="graves2013">{{cite book|last2=Mohamed|first2=Abdel-rahman|last3=Hinton|first3=Geoffrey|date=2013|pages=6645–6649|last1=Graves|first1=Alex|title=2013 IEEE International Conference on Acoustics, Speech and Signal Processing |chapter=Speech recognition with deep recurrent neural networks |doi=10.1109/ICASSP.2013.6638947|isbn=978-1-4799-0356-6|arxiv=1303.5778|s2cid=206741496}}</ref>
*Aprendizado de ritmo<ref name="peephole2002">{{cite journal | last1 = Gers | first1 = F. | last2 = Schraudolph | first2 = N. | last3 = Schmidhuber | first3 = J. | year = 2002 | title = Learning precise timing with LSTM recurrent networks | url = http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf | journal = Journal of Machine Learning Research | volume = 3 | pages = 115–143 }}</ref>

*Composição musical<ref name="eck2002">{{Cite book|last1=Eck|first1=Douglas|last2=Schmidhuber|first2=Jürgen|title=Artificial Neural Networks — ICANN 2002 |chapter=Learning the Long-Term Structure of the Blues |date=2002-08-28|volume=2415|publisher=Springer, Berlin, Heidelberg|pages=284–289|doi=10.1007/3-540-46084-5_47|isbn=978-3540460848|series=Lecture Notes in Computer Science|citeseerx=10.1.1.116.3620}}</ref>
*Aprendizado de gramática<ref name="gers2002">{{cite journal | last1 = Schmidhuber | first1 = J. | last2 = Gers | first2 = F. | last3 = Eck | first3 = D. | last4 = Schmidhuber | first4 = J. | last5 = Gers | first5 = F. | year = 2002 | title = Learning nonregular languages: A comparison of simple recurrent networks and LSTM | journal = Neural Computation | volume = 14 | issue = 9| pages = 2039–2041 | doi=10.1162/089976602320263980| pmid = 12184841 | citeseerx = 10.1.1.11.7369 | s2cid = 30459046 }}</ref><ref name="peepholeLSTM">{{cite journal | last1 = Gers | first1 = F. A. | last2 = Schmidhuber | first2 = J. | year = 2001 | title = LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages | url = ftp://ftp.idsia.ch/pub/juergen/L-IEEE.pdf | journal = IEEE Transactions on Neural Networks | volume = 12 | issue = 6| pages = 1333–1340 | doi=10.1109/72.963769| pmid = 18249962 | s2cid = 10192330 }}</ref><ref name="perez2003">{{cite journal | last1 = Perez-Ortiz | first1 = J. A. | last2 = Gers | first2 = F. A. | last3 = Eck | first3 = D. | last4 = Schmidhuber | first4 = J. | year = 2003 | title = Kalman filters improve LSTM network performance in problems unsolvable by traditional recurrent nets | journal = Neural Networks | volume = 16 | issue = 2| pages = 241–250 | doi=10.1016/s0893-6080(02)00219-8| pmid = 12628609 | citeseerx = 10.1.1.381.1992 }}</ref>
*Reconhecimento de caligrafia<ref name="graves2009nips">A. Graves, J. Schmidhuber. Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks. Advances in Neural Information Processing Systems 22, NIPS'22, pp 545–552, Vancouver, MIT Press, 2009.</ref><ref>{{Cite book|last1=Graves|first1=Alex|last2=Fernández|first2=Santiago|last3=Liwicki|first3=Marcus|last4=Bunke|first4=Horst|last5=Schmidhuber|first5=Jürgen|date=2007|title=Unconstrained Online Handwriting Recognition with Recurrent Neural Networks|url=http://dl.acm.org/citation.cfm?id=2981562.2981635|journal=Proceedings of the 20th International Conference on Neural Information Processing Systems|series=NIPS'07|location=USA|publisher=Curran Associates Inc.|pages=577–584|isbn=9781605603520}}</ref>
*Reconhecimento de ação humana<ref name="baccouche2011">{{cite book |first1=M. |last1=Baccouche |first2=F. |last2=Mamalet |first3=C. |last3=Wolf |first4=C. |last4=Garcia |first5=A. |last5=Baskurt |chapter=Sequential Deep Learning for Human Action Recognition |title=2nd International Workshop on Human Behavior Understanding (HBU) |editor-first=A. A. |editor-last=Salah |editor2-first=B. |editor2-last=Lepri |location=Amsterdam, Netherlands |pages=29–39 |series=Lecture Notes in Computer Science |volume=7065 |publisher=Springer |year=2011 |isbn= 978-3-642-25445-1|doi=10.1007/978-3-642-25446-8_4 }}</ref>
*[[Língua de sinais|Tradução de língua de sinais]]<ref name="huang2018">{{cite arXiv | last1=Huang | first1=Jie | last2=Zhou | first2=Wengang | last3=Zhang | first3=Qilin | last4=Li | first4=Houqiang | last5=Li | first5=Weiping | title=Video-based Sign Language Recognition without Temporal Segmentation | date=2018-01-30 | class=cs.CV | eprint=1801.10111 }}</ref>
*Detecção de homologia de proteínas<ref name="hochreiter2007">{{Cite journal 
| last1 = Hochreiter | first1 = S. 
| last2 = Heusel | first2 = M. 
| last3 = Obermayer | first3 = K. 
| doi = 10.1093/bioinformatics/btm247 
| title = Fast model-based protein homology detection without alignment 
| journal = Bioinformatics 
| volume = 23 
| issue = 14 
| pages = 1728–1736 
| year = 2007 
| pmid =  17488755
| doi-access = free 
}}</ref>

*Previsão da localização subcelular de proteínas<ref name="thireou2007">{{cite journal | last1 = Thireou | first1 = T. | last2 = Reczko | first2 = M. | year = 2007 | title = Bidirectional Long Short-Term Memory Networks for predicting the subcellular localization of eukaryotic proteins | url = | journal = IEEE/ACM Transactions on Computational Biology and Bioinformatics | volume = 4 | issue = 3| pages = 441–446 | doi=10.1109/tcbb.2007.1015| pmid = 17666763 | s2cid = 11787259 }}</ref>
*Detecção de anomalias em séries temporais<ref name="malhotra2015">{{Cite journal|last1=Malhotra|first1=Pankaj|last2=Vig|first2=Lovekesh|last3=Shroff|first3=Gautam|last4=Agarwal|first4=Puneet|date=Abril de 2015|title=Long Short Term Memory Networks for Anomaly Detection in Time Series|url=https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2015-56.pdf|journal=European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning — ESANN 2015|access-date=2018-02-21|archive-date=2020-10-30|archive-url=https://web.archive.org/web/20201030224634/https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2015-56.pdf|url-status=dead}}</ref>
*Diversas tarefas de previsão na área de [[Gerenciamento de processos de negócio|gerenciamento de processos de negócios]]<ref name="tax2017">{{cite book | last1 = Tax| first1 = N. | last2 = Verenich | first2 = I. | last3 = La Rosa | first3 = M. | last4 = Dumas | first4 = M. | title = Advanced Information Systems Engineering | chapter = Predictive Business Process Monitoring with LSTM Neural Networks | year = 2017 | volume = 10253 | pages = 477–492| doi=10.1007/978-3-319-59536-8_30| arxiv = 1612.02130 | series = Lecture Notes in Computer Science | isbn = 978-3-319-59535-1 | s2cid = 2192354 }}</ref>
*Previsão em trajetórias de cuidados médicos<ref name="choi2016">{{cite journal | last1 = Choi| first1 = E. | last2 = Bahadori| first2 = M.T. | last3 = Schuetz | first3 = E. | last4 = Stewart| first4 = W. | last5 = Sun| first5 = J. | journal = JMLR Workshop and Conference Proceedings | year = 2016 | title = Doctor AI: Predicting Clinical Events via Recurrent Neural Networks | url = http://proceedings.mlr.press/v56/Choi16.html | volume = 56 | pages = 301–318| pmid = 28286600 | pmc = 5341604 | bibcode = 2015arXiv151105942C | arxiv = 1511.05942 }}</ref>
*Análise semântica<ref name="jia2016">{{cite arXiv |last1=Jia |first1=Robin |last2=Liang |first2=Percy |year=2016 |eprint=1606.03622 |title=Data Recombination for Neural Semantic Parsing |class=cs.CL }}</ref>
*Cosegmentação de objetos<ref name="Wang Duan Zhang Niu p=1657">{{cite journal | last1=Wang | first1=Le | last2=Duan | first2=Xuhuan | last3=Zhang | first3=Qilin | last4=Niu | first4=Zhenxing | last5=Hua | first5=Gang | last6=Zheng | first6=Nanning | title=Segment-Tube: Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation | journal=Sensors | volume=18 | issue=5 | date=2018-05-22 | issn=1424-8220 | doi=10.3390/s18051657 | pmid=29789447 | pmc=5982167 | page=1657 | bibcode=2018Senso..18.1657W | url=https://qilin-zhang.github.io/_pages/pdfs/Segment-Tube_Spatio-Temporal_Action_Localization_in_Untrimmed_Videos_with_Per-Frame_Segmentation.pdf| doi-access=free }}</ref><ref name="Duan Wang Zhai Zheng 2018 p.">{{cite conference | last1=Duan | first1=Xuhuan | last2=Wang | first2=Le | last3=Zhai | first3=Changbo | last4=Zheng | first4=Nanning | last5=Zhang | first5=Qilin | last6=Niu | first6=Zhenxing | last7=Hua | first7=Gang | title=2018 25th IEEE International Conference on Image Processing (ICIP) | chapter=Joint Spatio-Temporal Action Localization in Untrimmed Videos with Per-Frame Segmentation | publisher=25th IEEE International Conference on Image Processing (ICIP)| year=2018 | pages=918–922 | isbn=978-1-4799-7061-2 | doi=10.1109/icip.2018.8451692 }}</ref>
*Gerenciamento de passageiros de aeroportos<ref name="orsini2019">{{cite conference |title=Neural networks trained with WiFi traces to predict airport passenger behavior |last1=Orsini |first1=F. |last2=Gastaldi |first2=M. |last3=Mantecchini |first3=L. |last4=Rossi |first4=R. |date=2019 |publisher=IEEE |location=Krakow |conference=6th International Conference on Models and Technologies for Intelligent Transportation Systems |id=8883365 |doi=10.1109/MTITS.2019.8883365 |arxiv = 1910.14026}}</ref>
*Previsão do [[tráfego]] em curto prazo<ref name="liu2017">{{cite journal |last1=Zhao |first1=Z. |last2=Chen |first2=W. |last3=Wu |first3=X. |last4=Chen |first4=P.C.Y. |last5=Liu |first5=J. |date=2017 |title=LSTM network: A deep learning approach for Short-term traffic forecast |journal=IET Intelligent Transport Systems |volume=11 |issue=2 |pages=68–75 |doi=10.1049/iet-its.2016.0208 |s2cid=114567527 }}</ref>
*[[Desenho de fármacos]]<ref name="pmid29095571">{{cite journal| author=Gupta A, Müller AT, Huisman BJH, Fuchs JA, Schneider P, Schneider G| title=Generative Recurrent Networks for De Novo Drug Design. | journal=Mol Inform | year= 2018 | volume= 37 | issue= 1–2 | pmid=29095571 | doi=10.1002/minf.201700111 | pmc=5836943 }}</ref>
*Previsão de Mercado<ref name="saiful2020">{{Cite journal|date=2020-10-26|title=Foreign Exchange Currency Rate Prediction using a GRU-LSTM Hybrid Network|journal=Soft Computing Letters|language=en|pages=100009|doi=10.1016/j.socl.2020.100009|issn=2666-2221|doi-access=free|last1=Saiful Islam|first1=Md.|last2=Hossain|first2=Emam|volume=3}}</ref>
{{Div col end}}


== Linha do tempo do desenvolvimento ==
1991: Sepp Hochreiter analisou o problema da dissipação do gradiente e desenvolveu os princípios do método em sua tese de diploma alemã.<ref name="hochreiter1991">{{cite thesis
|url=http://www.bioinf.jku.at/publications/older/3804.pdf
|degree=diploma
|first=Sepp
|last=Hochreiter
|title=Untersuchungen zu dynamischen neuronalen Netzen
|publisher=Technical University Munich, Institute of Computer Science
|year=1991}}</ref>

1995: "Long Short-Term Memory (LSTM)" é publicado em um relatório técnico por Sepp Hochreiter e Jürgen Schmidhuber.<ref>{{Cite Q | Q98967430 }}</ref>

1996: LSTM é publicado na conferência NIPS'1996, uma conferência revisada por pares.<ref name="hochreiter1996" />

1997: O principal artigo do LSTM é publicado no jornal ''Neural Computation''.<ref name="lstm1997">{{Cite journal |url=https://www.researchgate.net/publication/13853244 |title=Long short-term memory |journal=Neural Computation |issue=8 |author=Sepp Hochreiter |year=1997 |pages=1735–1780 |doi=10.1162/neco.1997.9.8.1735 |pmid=9377276 |volume=9 |author2=Jürgen Schmidhuber |s2cid=1915014}}</ref> Ao introduzir unidades de "Constant Error Carousel" (CEC), o LSTM lida com o problema da dissipação do gradiente. A versão inicial do bloco LSTM incluía células, portas de entrada e saída.<ref name="ASearchSpaceOdyssey">{{Cite journal|author1=Klaus Greff |author2=Rupesh Kumar Srivastava |author3=Jan Koutník |author4=Bas R. Steunebrink |author5=Jürgen Schmidhuber |arxiv=1503.04069 |title=LSTM: A Search Space Odyssey |journal=IEEE Transactions on Neural Networks and Learning Systems |volume=28 |issue=10 |pages=2222–2232 |date=2015 |doi=10.1109/TNNLS.2016.2582924 |pmid=27411231 |bibcode=2015arXiv150304069G |s2cid=3356463 }}</ref>

1999: Felix Gers, Jürgen Schmidhuber e Fred Cummins introduziram a porta de esquecimento (também chamada de "porta de prosseguir") na arquitetura do LSTM,<ref name="lstm1999">{{Cite book |doi = 10.1049/cp:19991218|chapter = Learning to forget: Continual prediction with LSTM|title = 9th International Conference on Artificial Neural Networks: ICANN '99|volume = 1999|pages = 850–855|year = 1999|last1 = Gers|first1 = Felix| last2 = Schmidhuber|first2 = Jürgen| last3 = Cummins|first3 = Fred| isbn = 0-85296-721-7}}</ref>permitindo que o LSTM redefina seu próprio estado.<ref name="ASearchSpaceOdyssey"/>

2000: Gers, Schmidhuber e Cummins adicionaram conexões de "peephole" (conexões da célula para as portas) à arquitetura.<ref name="peepholeLSTM"/><ref name="peephole2002"/> Além disso, a função de ativação de saída foi omitida.<ref name="ASearchSpaceOdyssey"/>

2001: Gers e Schmidhuber treinaram o LSTM para aprender idiomas que não podiam ser aprendidos por modelos tradicionais como os Modelos de Markov Ocultos.<ref name="peepholeLSTM" /><ref name="miraculous2021" />

Hochreiter ''et al''. usaram o LSTM para meta-aprendizado (ou seja, aprender um algoritmo de aprendizado).<ref>{{cite book|last1=Hochreiter|first1=S.|last2=Younger|first2=A. S.|last3=Conwell|first3=P. R. |title=Artificial Neural Networks — ICANN 2001 |chapter=Learning to Learn Using Gradient Descent |volume=2130|year=2001|pages=87–94|issn=0302-9743|doi=10.1007/3-540-44668-0_13|url=http://www.bioinf.jku.at/publications/older/1504.pdf|series=Lecture Notes in Computer Science|isbn=978-3-540-42486-4|citeseerx=10.1.1.5.323|s2cid=52872549 }}</ref>

2004: Primeira aplicação bem-sucedida do LSTM para a fala Alex Graves et al.<ref name="graves2004">{{cite conference |last1=Graves |first1=Alex | last2=Beringer |first2=Nicole | last3=Eck |first3=Douglas |last4=Schmidhuber |first4=Juergen |title=Biologically Plausible Speech Recognition with LSTM Neural Nets. |conference=Workshop on Biologically Inspired Approaches to Advanced Information Technology, Bio-ADIT 2004, Lausanne, Switzerland |pages=175–184 |year=2004 }}</ref><ref name="miraculous2021">{{cite arXiv|eprint=2005.05744|class=cs.NE|author=Schmidhuber, Juergen|title=Deep Learning: Our Miraculous Year 1990-1991|date=10 de Maio de 2021}}</ref>

2005: Primeira publicação (Graves e Schmidhuber) do LSTM com retropropagação ao longo do tempo completa e LSTM bidirecional.<ref name="graves2005" /><ref name="miraculous2021" />

2005: Daan Wierstra, Faustino Gomez e Schmidhuber treinaram o LSTM por neuroevolução sem um professor.<ref name="wierstra2005" />

2006: Graves, Fernandez, Gomez e Schmidhuber introduzem uma nova função de erro para o LSTM: ''Connectionist Temporal Classification (CTC)'' para alinhamento e reconhecimento simultâneos de sequências.<ref name="graves2006" /> O LSTM treinado por CTC levou a avanços no reconhecimento de fala.<ref name="fernandez2007icann" /><ref name="Beau15" /><ref name="GoogleVoiceSearch" /><ref name="microsoft2017" />

Mayer ''et al''. treinaram LSTM para controlar [[robôs]].<ref name="mayer2006">{{Cite book|last1=Mayer|first1=H.|last2=Gomez|first2=F.|last3=Wierstra|first3=D.|last4=Nagy|first4=I.|last5=Knoll|first5=A.|last6=Schmidhuber|first6=J.|title=2006 IEEE/RSJ International Conference on Intelligent Robots and Systems |chapter=A System for Robotic Heart Surgery that Learns to Tie Knots Using Recurrent Neural Networks |date=Outubro de 2006|pages=543–548|doi=10.1109/IROS.2006.282190|isbn=978-1-4244-0258-8|citeseerx=10.1.1.218.3399|s2cid=12284900}}</ref>

2007: Wierstra, Foerster, Peters e Schmidhuber treinaram LSTM por meio de gradientes de política para aprendizado por reforço sem um professor.<ref name="wierstra2007" >{{Cite journal|last1=Wierstra|first1=Daan|last2=Foerster|first2=Alexander|last4=Schmidhuber|first4=Juergen|last3=Peters|first3=Jan|date=2005|title=Solving Deep Memory POMDPs with Recurrent Policy Gradients|url=https://people.idsia.ch/~juergen/lstm-policy-gradient-2010.html|journal=International Conference on Artificial Neural Networks ICANN'07}}</ref>

Hochreiter, Heuesel e Obermayr aplicaram LSTM à detecção de homologia de proteínas no campo da [[biologia]].<ref name="hochreiter2007" />

2009: Um LSTM treinado por CTC venceu a competição de reconhecimento de escrita à mão conectada do ICDAR (Conferência Internacional sobre Análise e Reconhecimento de Documentos). Três modelos desse tipo foram submetidos por uma equipe liderada por Alex Graves.<ref name="graves2009">{{Citar periódico|último1=Graves|primeiro1=A.|último2=Liwicki|primeiro2=M.|último3=Fernández|primeiro3=S.|último4=Bertolami|primeiro4=R.|último5=Bunke|primeiro5=H.|último6=Schmidhuber|primeiro6=J.|data=maio de 2009|título=Um Novo Sistema Conexista para Reconhecimento de Escrita à Mão Sem Restrições|periódico=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=31|número=5|páginas=855–868|citeseerx=10.1.1.139.4502|doi=10.1109/tpami.2008.137|issn=0162-8828|pmid=19299860|s2cid=14635907}}</ref> Um deles foi o modelo mais preciso na competição e outro foi o mais rápido.<ref name="maergner2009">{{Citar livro|último1=Märgner|primeiro1=Volker|último2=Abed|primeiro2=Haikal El|título=Conferência Internacional de Análise e Reconhecimento de Documentos de 2009|capítulo=Competição de Reconhecimento de Escrita Árabe ICDAR 2009|data=julho de 2009|páginas=1383–1387|doi=10.1109/ICDAR.2009.256|isbn=978-1-4244-4500-4|s2cid=52851337}}</ref> Foi a primeira vez que uma RNN venceu competições internacionais.<ref name="miraculous2021" />

2009: Justin Bayer ''et al''. introduziram a busca de arquitetura neural para LSTM.<ref name="bayer2009" >{{Citar periódico|último1=Bayer|primeiro1=Justin|último2=Wierstra|primeiro2=Daan|último4=Schmidhuber|primeiro4=Juergen|último3=Togelius|primeiro3=Julian|data=2009|título=Evolução de Estruturas de Células de Memória para Aprendizado Sequencial|periódico=Conferência Internacional sobre Redes Neurais Artificiais ICANN'09, Chipre}}</ref><ref name="miraculous2021" />

2013: Alex Graves, Abdel-rahman Mohamed e Geoffrey Hinton usaram redes LSTM como componente principal de uma rede que alcançou uma taxa recorde de erro de [[fonema]] de 17,7% no conjunto de dados de fala natural clássico ''TIMIT'' (corpus de fala transcrita fonêmica e lexicalmente de falantes do inglês americano).<ref name="graves2013" />

2014: Kyunghyun Cho ''et al''. apresentaram uma variante simplificada da LSTM da porta de esquecimento<ref name="lstm1999" /> chamada unidade recorrente fechada (GRU).<ref name="cho2014">{{Citar arXiv|último1=Cho|primeiro1=Kyunghyun|último2=van Merrienboer|primeiro2=Bart|último3=Gulcehre|primeiro3=Caglar|último4=Bahdanau|primeiro4=Dzmitry|último5=Bougares|primeiro5=Fethi|último6=Schwenk|primeiro6=Holger|último7=Bengio|primeiro7=Yoshua|data=2014|título=Aprendizado de Representações de Frases usando Codificador-Decodificador RNN para Tradução Estatística de Máquinas|eprint=1406.1078|classe=cs.CL}}</ref>

2015: O Google começou a usar um LSTM treinado por CTC para reconhecimento de fala no Google Voice.<ref name="Beau15">{{Citar notícia|último=Beaufays|primeiro=Françoise|url=http://googleresearch.blogspot.co.at/2015/08/the-neural-networks-behind-google-voice.html|título=As redes neurais por trás da transcrição do Google Voice|data=11 de agosto de 2015|trabalho=Blog de Pesquisa}}</ref><ref name="GoogleVoiceSearch">{{Citar notícia|primeiro2=Andrew|url=http://googleresearch.blogspot.co.uk/2015/09/google-voice-search-faster-and-more.html|título=Busca por voz do Google: mais rápida e precisa|data=24 de setembro de 2015|língua=en-US|primeiro3=Kanishka|primeiro4=Françoise|primeiro5=Johan|último1=Sak|primeiro1=Haşim|trabalho=Blog de Pesquisa|último2=Senior|último3=Rao|último4=Beaufays|último5=Schalkwyk}}</ref> De acordo com a postagem oficial no blog, o novo modelo reduziu os erros de transcrição em 49%.<ref name="googleblog2015">{{Citar web|url=https://googleblog.blogspot.com/2015/07/neon-prescription-or-rather-new.html|título=Prescrição de Neon... ou melhor, Nova transcrição para o Google Voice|data=23 de julho de 2015|website=Blog Oficial do Google|língua=en}}</ref>

2015: Rupesh Kumar Srivastava, Klaus Greff e Schmidhuber utilizaram princípios de LSTM<ref name="lstm1999" /> para criar a rede ''Highway'', uma rede neural ''feedforward'' com centenas de camadas, muito mais profunda do que redes anteriores.<ref name="highway2015">{{Citar arXiv|último1=Srivastava|primeiro1=Rupesh Kumar|último2=Greff|primeiro2=Klaus|último3=Schmidhuber|primeiro3=Jürgen|título=Redes Highway|eprint=1505.00387|data=2 de maio de 2015|classe=cs.LG}}</ref><ref name="highway2015neurips">{{Citar periódico|último1=Srivastava|primeiro1=Rupesh K|último2=Greff|primeiro2=Klaus|último3=Schmidhuber|primeiro3=Juergen|título=Treinamento de Redes Muito Profundas|periódico=Avanços em Sistemas de Informação Neural|data=2015|volume=28|páginas=2377–2385|url=http://papers.nips.cc/paper/5850-training-very-deep-networks|editora=Curran Associates, Inc.}}</ref><ref name="mostcited2021">{{Citar notícia|último=Schmidhuber|primeiro=Jürgen|url=https://people.idsia.ch/~juergen/most-cited-neural-nets.html|título=As redes neurais mais citadas todas se baseiam em trabalhos feitos nos meus laboratórios|data=2021|local=IDSIA, Suíça|trabalho=Blog de IA}}</ref> Sete meses depois, Kaiming He, Xiangyu Zhang, Shaoqing Ren e Jian Sun venceram a competição ImageNet 2015 com uma variante da rede ''Highway'' chamada rede neural residual, com portões abertos ou sem portões. <ref name="resnet2015">{{Citar conferência |primeiro2=Xiangyu |url=https://ieeexplore.ieee.org/document/7780459 |título=Aprendizado Profundo Residual para Reconhecimento de Imagens |data=2016 |periódico=Conferência IEEE sobre Visão Computacional e Reconhecimento de Padrões (CVPR) de 2016 |editora=IEEE |local=Las Vegas, NV, EUA |páginas=770–778 |conferencia= |doi=10.1109/CVPR.2016.90 |isbn=978-1-4673-8851-1 |primeiro3=Shaoqing |primeiro4=Jian |último1=He |primeiro1=Kaiming |último2=Zhang |último3=Ren |último4=Sun}}</ref> Esta se tornou a rede neural mais citada do século XXI.<ref name="mostcited2021" />

2016: O Google começou a utilizar uma LSTM para sugerir mensagens no aplicativo de conversa Allo.<ref name="GoogleAllo">{{Cite news|last=Khaitan|first=Pranav|url=http://googleresearch.blogspot.co.at/2016/05/chat-smarter-with-allo.html|title=Chat Smarter with Allo|date=18 de maio de 2016|work=Research Blog|access-date=27 de junho de 2017}}</ref> No mesmo ano, o Google lançou o sistema ''Google Neural Machine Translation'' para o Google Translate, que utilizava LSTMs para reduzir erros de tradução em 60%.<ref name="GoogleTranslate">{{cite arXiv|eprint=1609.08144|class=cs.CL|first1=Yonghui|last1=Wu|first2=Mike|last2=Schuster|title=Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation|date=26 de setembro de 2016|last7=Krikun|last4=Le|first4=Quoc V.|last5=Norouzi|first5=Mohammad|last6=Macherey|last9=Gao|first3=Zhifeng|first7=Maxim|first8=Yuan|first9=Qin|last8=Cao|last3=Chen|first6=Wolfgang}}</ref><ref name="WiredGoogleTranslate">{{Cite magazine|last=Metz|first=Cade|date=27 de setembro de 2016|title=An Infusion of AI Makes Google Translate More Powerful Than Ever {{!}} WIRED|url=https://www.wired.com/2016/09/google-claims-ai-breakthrough-machine-translation/|magazine=Wired|access-date=27 de junho de 2017}}</ref><ref name="googleblog2016">{{Cite web|url=http://ai.googleblog.com/2016/09/a-neural-network-for-machine.html|title=A Neural Network for Machine Translation, at Production Scale|website=Google AI Blog|date=27 de setembro de 2016 |language=en|access-date=25 de abril de 2020}}</ref>

A Apple anunciou em sua [[Worldwide Developers Conference]] que começaria a usar a LSTM para o QuickType<ref name="AppleQuicktype">{{Cite web|title=Apple's Machines Can Learn Too|url=https://www.theinformation.com/apples-machines-can-learn-too|last=Efrati|first=Amir|date=13 de junho de 2016|website=The Information|access-date=27 de junho de 2017}}</ref><ref name="AppleQuicktype2">{{Cite news|last=Ranger|first=Steve|date=14 de junho de 2016|title=iPhone, AI and big data: Here's how Apple plans to protect your privacy {{!}} ZDNet|work=ZDNet|url=http://www.zdnet.com/article/ai-big-data-and-the-iphone-heres-how-apple-plans-to-protect-your-privacy|access-date=27 de junho de 2017}}</ref><ref>{{Cite web|title=Can Global Semantic Context Improve Neural Language Models? – Apple|url=https://machinelearning.apple.com/2018/09/27/can-global-semantic-context-improve-neural-language-models.html|website=Apple Machine Learning Journal|language=en-US|access-date=30 de abril de 2020}}</ref> no iPhone e para a Siri.<ref name="AppleSiri">{{Cite web|title=iOS 10: Siri now works in third-party apps, comes with extra AI features|url=http://bgr.com/2016/06/13/ios-10-siri-third-party-apps/|last=Smith|first=Chris|date=13 de junho de 2016|website=BGR|access-date=27 de junho de 2017}}</ref><ref name="capes2017">{{Cite journal|last1=Capes|first1=Tim|last2=Coles|first2=Paul|last3=Conkie|first3=Alistair|last4=Golipour|first4=Ladan|last5=Hadjitarkhani|first5=Abie|last6=Hu|first6=Qiong|last7=Huddleston|first7=Nancy|last8=Hunt|first8=Melvyn|last9=Li|first9=Jiangchuan|last10=Neeracher|first10=Matthias|last11=Prahallad|first11=Kishore|date=20 de agosto de 2017|title=Siri On-Device Deep Learning-Guided Unit Selection Text-to-Speech System|url=http://www.isca-speech.org/archive/Interspeech_2017/abstracts/1798.html|journal=Interspeech 2017|language=en|publisher=ISCA|pages=4011–4015|doi=10.21437/Interspeech.2017-1798}}</ref>

A Amazon lançou o ''Polly'', que gera as vozes por trás da ''Alexa'', utilizando uma LSTM bidirecional para a tecnologia de texto para fala.<ref name="AmazonAlexa">{{Cite web|title=Bringing the Magic of Amazon AI and Alexa to Apps on AWS. – All Things Distributed|url=http://www.allthingsdistributed.com/2016/11/amazon-ai-and-alexa-for-all-aws-apps.html|last=Vogels|first=Werner|date=30 de novembro de 2016|website=www.allthingsdistributed.com|access-date=27 de junho de 2017}}</ref>

2017: O Facebook realizava cerca de 4,5 bilhões de traduções automáticas diariamente utilizando redes neurais de LSTM.<ref name="FacebookTranslate">{{Cite web|url=https://www.theverge.com/2017/8/4/16093872/facebook-ai-translations-artificial-intelligence|title=Facebook's translations are now powered completely by AI|last=Ong|first=Thuy|date=4 de agosto de 2017|website=www.allthingsdistributed.com|access-date=15 de fevereiro de 2019}}</ref>

Pesquisadores da [[Michigan State University]], IBM Research e [[Cornell University]] publicaram um estudo na conferência Knowledge Discovery and Data Mining (KDD).<ref>{{cite web|url=http://biometrics.cse.msu.edu/Publications/MachineLearning/Baytasetal_PatientSubtypingViaTimeAwareLSTMNetworks.pdf | title= Patient Subtyping via Time-Aware LSTM Networks |website= msu.edu |access-date= 21 de novembro de 2018}}</ref><ref>{{cite web |url= http://www.kdd.org/kdd2017/papers/view/patient-subtyping-via-time-aware-lstm-networks |title= Patient Subtyping via Time-Aware LSTM Networks |website= Kdd.org |access-date= 24 de maio de 2018}}</ref><ref>{{cite web |url= http://www.kdd.org |title=SIGKDD |website= Kdd.org |access-date= 24 de maio de 2018}}</ref> O Time-Aware LSTM (T-LSTM) deles tem um desempenho melhor em determinados conjuntos de dados do que o LSTM padrão.

A Microsoft relatou alcançar uma precisão de reconhecimento de 94,9% no corpus ''Switchboard'', incorporando um vocabulário de 165.000 palavras. A abordagem utilizada foi "long short-term memory baseada em sessão de diálogo".<ref name="microsoft2017">{{Cite web|url=http://newatlas.com/microsoft-speech-recognition-equals-humans/50999|title=O sistema de reconhecimento de fala da Microsoft agora é tão bom quanto o de um humano|last=Haridy|first=Rich|date=21 de agosto de 2017|website=newatlas.com|access-date=27 de agosto de 2017}}</ref>

2018: A [[OpenAI]] utilizou LSTM treinado por gradientes de política para vencer humanos no complexo jogo de vídeo Dota 2,<ref name="OpenAIfive" /> e para controlar uma mão de robô semelhante à humana que manipula objetos físicos com destreza sem precedentes.<ref name="OpenAIhand" /><ref name="miraculous2021" />

2019: A [[DeepMind]] utilizou LSTM treinado por gradientes de política para se destacar no complexo jogo de vídeo [[Starcraft II]].<ref name="alphastar" /><ref name="miraculous2021" />

2021: De acordo com o [[Google Scholar]], em 2021, LSTM foi citado mais de 16.000 vezes em um único ano. Isso reflete aplicações de LSTM em muitos campos diferentes, incluindo saúde.<ref name="decade2022">{{Cite news| last=Schmidhuber |first=Jürgen |url=https://people.idsia.ch/~juergen/2010s-our-decade-of-deep-learning.html|title=A década de 2010: Nossa Década de Aprendizado Profundo / Perspectivas para a década de 2020|date=2021|work=AI Blog| location=IDSIA, Suíça | access-date=30 de abril de 2022}}</ref>
== Ver também ==

* [[Aprendizado de máquina]]
* [[Aprendizagem profunda]]
* [[Engenharia neuromórfica|Engenharia neuromófica]]
* [[Rede neural artificial|Redes neurais artificiais]]
* [[Série temporal|Séries temporais]]

== Referências ==
{{Reflist}}

== Ligações externas ==
*[http://www.idsia.ch/~juergen/rnn.html Redes neurais recorrentes] com mais de 30 artigos sobre LSTM do grupo de Jürgen Schmidhuber no IDSIA

* {{cite web|url=http://www.felixgers.de/papers/phd.pdf|work=Tese de doutorado|last=Gers|first=Felix|date=2001|title=Long short-term memory Recorrentes}}
* {{cite journal |url= http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf |last1= Gers |first1= Felix A. |first2= Nicol N. |last2= Schraudolph |first3= Jürgen |last3= Schmidhuber |title= Aprendizado de tempo preciso com redes neurais recorrentes LSTM |journal= Journal of Machine Learning Research |volume= 3 |date= Ago 2002 |pages= 115–143 }}
* {{cite thesis |url= http://etd.uwc.ac.za/xmlui/handle/11394/249
|title= Mineração de dados, detecção de fraudes e telecomunicações móveis: Análise de padrões de chamadas com redes neurais não supervisionadas |hdl= 11394/249 |last= Abidogun |first= Olusola Adeniyi |work= Dissertação de mestrado |url-status= ao vivo |archive-date= 22 de maio de 2012 |archive-url= https://web.archive.org/web/20120522234026/http://etd.uwc.ac.za/usrfiles/modules/etd/docs/etd_init_3937_1174040706.pdf |ano= 2005 |publisher= University of the Western Cape |type= Tese }}

* [http://etd.uwc.ac.za/bitstream/handle/11394/249/Abidogun_MSC_2005.pdf original] com dois capítulos dedicados a explicar redes neurais recorrentes, especialmente LSTM.

* {{cite journal |url= http://www.cs.umd.edu/~dmonner/papers/nn2012.pdf |title= Um algoritmo de treinamento generalizado semelhante ao LSTM para redes neurais recorrentes de segunda ordem |first1= Derek D. |last1= Monner |first2= James A. |last2= Reggia |journal= Neural Networks |date= 2010 |volume= 25 |issue= 1 |pages= 70–83 |doi= 10.1016/j.neunet.2011.07.003 |pmid= 21803542 |pmc= 3217173 |quote= Extensão de alto desempenho do LSTM que foi simplificada para um único tipo de nó e pode treinar arquiteturas arbitrárias }}
* {{cite web |url= https://towardsdatascience.com/lstm-networks-a-detailed-explanation-8fae6aefc7f9 |work= Artigo |title= Redes LSTM - Uma explicação detalhada |first= R |last= Dolphin |date= 12 de novembro de 2021 }}
* {{cite web |url= http://christianherta.de/lehre/dataScience/machineLearning/neuralNetworks/LSTM.html |work= Tutorial |title= Como implementar LSTM em Python com Theano |first= Christian |last= Herta }}
{{DEFAULTSORT:Long short-term memory}}


[[Categoria:Aprendizagem de máquina]]
[[Categoria:Aprendizagem profunda]]
[[Categoria:Mineração de dados]]
[[Categoria:Algoritmos de aprendizado de máquina]]