Mostrar código-fonte de Kernel de tangente neural

{{Tradução de|idioma=en|página=Neural tangent kernel|data= --[[Usuário:Tpdkuroi|Tpdkuroi]] ([[Usuário Discussão:Tpdkuroi|discussão]]) 14h04min de 28 de novembro de 2020 (UTC)}}

No estudo de [[Rede neural artificial|redes neurais artificiais]] (RNAs), o '''kernel de tangente neural''' (KTN) é um [[Núcleo (sistema operacional)|kernel]] que descreve a evolução de [[Aprendizagem profunda|redes neurais artificiais profundas]] durante seu treinamento por [[Método do gradiente|gradiente descendente]] . Ele permite que RNAs sejam estudadas usando algoritmos do tipo [[Máquina de vetores de suporte]].

Para a maioria das arquiteturas de rede neural, no limite da largura da camada, o KTN se torna constante. Isso permite que declarações simples de [[Forma fechada (matemática)|forma fechada]] sejam feitas sobre previsões de rede neural, dinâmicas de treinamento, generalização e superfícies de perda. Por exemplo, ele garante que RNAs largas o suficiente convergem para um [[Pontos extremos de uma função|mínimo global]] quando treinados para minimizar uma perda empírica. O KTN de redes de grande largura também está relacionado a vários outros limites de largura de redes neurais.

O KTN foi lançado em 2018 por Arthur Jacot, Franck Gabriel e Clément Hongler.<ref name=":0">{{Citation|último =Jacot|primeiro2 =Franck|bibcode=2018arXiv180607572J|editor-nome4 =K.|editor-sobrenome4 =Grauman|editor-nome3 =H.|editor-sobrenome3 =Larochelle|editor-nome2 =H.|editor-sobrenome2 =Wallach|primeiro3 =Clement|último3 =Hongler|último2 =Gabriel|primeiro1 =Arthur|acessodata=2019-11-27|publicado=Curran Associates, Inc.|editor-nome =S.|editor-sobrenome =Bengio|páginas=8571–8580|periódico=Advances in Neural Information Processing Systems 31|url=http://papers.nips.cc/paper/8076-neural-tangent-kernel-convergence-and-generalization-in-neural-networks.pdf|data=2018|título=Neural Tangent Kernel: Convergence and Generalization in Neural Networks|arxiv=1806.07572}}</ref> Também estava implícito em alguns trabalhos contemporâneos.<ref>{{Citar periódico |ultimo=Li |primeiro=Yuanzhi |ultimo2=Liang |primeiro2=Yingyu |titulo=Learning overparameterized neural networks via stochastic gradient descent on structured data |periódico=Advances in Neural Information Processing Systems |data=2018}}</ref><ref>{{Citar periódico |ultimo=Allen-Zhu |primeiro=Zeyuan |ultimo2=Li |primeiro2=Yuanzhi |ultimo3=Song |primeiro3=Zhao |titulo=A convergence theory for deep learning via overparameterization |periódico=International Conference on Machine Learning |data=2018}}</ref><ref>{{Citar periódico |ultimo=Du |primeiro=Simon S |ultimo2=Zhai |primeiro2=Xiyu |ultimo3=Poczos |primeiro3=Barnabas |ultimo4=Aarti |primeiro4=Singh |titulo=Gradient descent provably optimizes over-parameterized neural networks |periódico=International Conference on Learning Representations |data=2019}}</ref>

== Definição ==

=== Caso de saída escalar ===
Uma [[Rede_neural_artificial|RNA]] com saída escalar consiste em uma família de funções  <math>f\left(\cdot,\theta\right):\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}</math> parametrizado por um vetor de parâmetros <math>\theta\in\mathbb{R}^{P}</math>.

O KTN é um kernel <math>\Theta:\mathbb{R}^{n_{\mathrm{in}}}\times\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}</math> definido por <math display="block">\Theta\left(x,y;\theta\right)=\sum_{p=1}^{P}\partial_{\theta_{p}}f\left(x;\theta\right)\partial_{\theta_{p}}f\left(y;\theta\right).</math>

Em uma [[Máquina_de_vetores_de_suporte|SVM]], o KTN <math>\Theta</math> é um kernel associado a uma [https://en.wikipedia.org/wiki/Feature_(machine_learning) feature] <math>\left(x\mapsto\partial_{\theta_{p}}f\left(x;\theta\right)\right)_{p=1,\ldots,P}</math>.

=== Caso de saída vetorial ===
Uma [[Rede_neural_artificial|RNA]] com saída vetorial de tamanho <math>n_{\mathrm{out}}</math> consiste em uma família de funções <math>f\left(\cdot;\theta\right):\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}^{n_{\mathrm{out}}}</math> parametrizada por um vetor de parâmetros <math>\theta\in\mathbb{R}^{P}</math>.

Neste caso o KTN <math>\Theta:\mathbb{R}^{n_{\mathrm{in}}}\times\mathbb{R}^{n_{\mathrm{in}}}\to\mathcal{M}_{n_{\mathrm{out}}}\left(\mathbb{R}\right)</math> é um [https://en.wikipedia.org/wiki/Kernel_methods_for_vector_output SVM de saída vetorial] com valores de <math>n_{\mathrm{out}}\times n_{\mathrm{out}}</math> e matrizes definidas por <math display="block">\Theta_{k,l}\left(x,y;\theta\right)=\sum_{p=1}^{P}\partial_{\theta_{p}}f_{k}\left(x;\theta\right)\partial_{\theta_{p}}f_{l}\left(y;\theta\right).</math>

== Derivação ==
Ao otimizar os parâmetros <math>\theta\in\mathbb{R}^{P}</math> de uma [[Rede_neural_artificial|RNA]] para minimizar uma perda empírica através da [[método do gradiente]], o KTN determina a dinâmica da função de saída da [[Rede_neural_artificial|RNA]] <math>f_{\theta}</math> durante todo o treinamento.

=== Caso de saída escalar ===
Para um [https://en.wikipedia.org/wiki/Training,_validation,_and_test_sets dataset] <math>\left(x_{i}\right)_{i=1,\ldots,n}\subset\mathbb{R}^{n_{\mathrm{in}}}</math> com rótulos escalares <math>\left(z_{i}\right)_{i=1,\ldots,n}\subset\mathbb{R}</math> e uma [[função de perda]] <math>c:\mathbb{R}\times\mathbb{R}\to\mathbb{R}</math> associada a uma perda empírica, definida em funções <math>f:\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}</math> é dada por <math display="block">\mathcal{C}\left(f\right)=\sum_{i=1}^{n}c\left(f\left(x_{i}\right),z_{i}\right).</math>

Ao treinar uma [[Rede_neural_artificial|RNA]] <math>f\left(\cdot;\theta\right):\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}</math> é treinado para se ajustar ao conjunto de dados (ou seja, minimizar <math>\mathcal{C}</math>) via [[método do gradiente]] por tempo contínuo os parâmetros <math>\left(\theta\left(t\right)\right)_{t\geq0}</math> evoluem através da [[Equação_diferencial_ordinária|função diferencial ordinária]]:

<math display="block">\partial_{t}\theta\left(t\right)=-\nabla\mathcal{C}\left(f\left(\cdot;\theta\right)\right).</math>

Durante o treinamento, a função de saída da [[Rede_neural_artificial|RNA]] segue a evolução de uma equação diferencial dada em termos de KTN:

<math>\partial_{t}f\left(x;\theta\left(t\right)\right)=-\sum_{i=1}^{n}\Theta\left(x,x_{i};\theta\right)\partial_{w}c\left(w,z_{i}\right)\Big|_{w=f\left(x_{i};\theta\left(t\right)\right)}.</math>

Esta equação mostra como o KTN conduz a dinâmica de <math>f\left(\cdot;\theta\left(t\right)\right)</math> no espaço das funções <math>\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}</math> durante o treinamento.

=== Caso de saída vetorial ===
Para um [https://en.wikipedia.org/wiki/Training,_validation,_and_test_sets dataset] <math>\left(x_{i}\right)_{i=1,\ldots,n}\subset\mathbb{R}^{n_{\mathrm{in}}}</math> com vetores <math>\left(z_{i}\right)_{i=1,\ldots,n}\subset\mathbb{R}^{n_{\mathrm{out}}}</math> e uma [[função de perda]] <math>c:\mathbb{R}^{n_{\mathrm{out}}}\times\mathbb{R}^{n_{\mathrm{out}}}\to\mathbb{R}</math> a perda empírica correspondente em funções <math>f:\mathbb{R}^{n_{\mathrm{in}}}\to\mathbb{R}^{n_{\mathrm{out}}}</math> é definida por:

<math display="block">\mathcal{C}\left(f\right)=\sum_{i=1}^{n}c\left(f\left(x_{i}\right),z_{i}\right).</math>

O treinamento de <math>f_{\theta\left(t\right)}</math> através do [[método do gradiente]] por tempo contínuo produz a seguinte evolução na função do espaço gerada pelo KTN:

<math display="block">\partial_{t}f_{k}\left(x;\theta\left(t\right)\right)=-\sum_{i=1}^{n}\sum_{l=1}^{n_{\mathrm{out}}}\Theta_{k,l}\left(x,x_{i};\theta\right)\partial_{w_{l}}c\left(\left(w_{1},\ldots,w_{n_{\mathrm{out}}}\right),z_{i}\right)\Big|_{w=f\left(x_{i};\theta\left(t\right)\right)}.</math>

=== Interpretação ===
O KTN <math>\Theta\left(x,x_{i};\theta\right)</math> representa a influência da perda de gradiente <math>\partial_{w}c\left(w,z_{i}\right)\big|_{w=f\left(x_{i};\theta\right)}</math> com respeito ao exemplo <math>i</math> sobre a evolução da saída (produção) da [[Rede_neural_artificial|RNA]] <math>f\left(x;\theta\right)</math> através de uma etapa do [[método do gradiente]]: no caso escalar, se lê:

<math display="block">f\left(x;\theta\left(t+\epsilon\right)\right)-f\left(x;\theta\left(t\right)\right)\approx\epsilon\sum_{i=1}^{n}\Theta\left(x,x_{i};\theta\left(t\right)\right)\partial_{w}c\left(w,z_{i}\right)\big|_{w=f\left(x_{i};\theta\right)}.</math>

Em particular, cada ponto de dados <math>x_{i}</math> influencia a evolução do resultado <math>f\left(x;\theta\right)</math> para cada <math>x</math> ao longo do treinamento, de modo que é capturada pelo KTN <math>\Theta\left(x,x_{i};\theta\right)</math>.

== Grande limite de largura ==
Trabalhos teóricos e empíricos recentes em [[aprendizagem profunda]] mostraram que o desempenho das [[Rede_neural_artificial|RNAs]] melhora estritamente à medida que a largura de suas camadas aumenta.<ref>{{citar periódico|último =Novak|primeiro =Roman|último2 =Bahri|primeiro2 =Yasaman|último3 =Abolafia|primeiro3 =Daniel A.|último4 =Pennington|primeiro4 =Jeffrey|último5 =Sohl-Dickstein|primeiro5 =Jascha|data=2018-02-15|título=Sensitivity and Generalization in Neural Networks: an Empirical Study|url=https://openreview.net/forum?id=HJC2SzZCW|bibcode=2018arXiv180208760N|arxiv=1802.08760}}</ref><ref>{{citar periódico|último =Canziani|primeiro =Alfredo|último2 =Paszke|primeiro2 =Adam|último3 =Culurciello|primeiro3 =Eugenio|data=2016-11-04|título=An Analysis of Deep Neural Network Models for Practical Applications|url=https://openreview.net/forum?id=Bygq-H9eg|bibcode=2016arXiv160507678C|arxiv=1605.07678}}</ref> Para várias [[Rede_neural_artificial|arquiteturas de RNA]] o KTN fornece uma visão precisa sobre o treinamento neste regime de grandes larguras.<ref name=":0" /><ref name=":2">{{citar periódico|último =Allen-Zhu|primeiro =Zeyuan|último2 =Li|primeiro2 =Yuanzhi|último3 =Song|primeiro3 =Zhao|data=2018-11-09|título=A Convergence Theory for Deep Learning via Over-Parameterization|periódico=International Conference on Machine Learning|língua=en|páginas=242–252|arxiv=1811.03962}}</ref><ref name=":5">{{citar periódico|último =Du|primeiro =Simon|último2 =Lee|primeiro2 =Jason|último3 =Li|primeiro3 =Haochuan|último4 =Wang|primeiro4 =Liwei|último5 =Zhai|primeiro5 =Xiyu|data=2019-05-24|título=Gradient Descent Finds Global Minima of Deep Neural Networks|periódico=International Conference on Machine Learning|língua=en|páginas=1675–1685|arxiv=1811.03804}}</ref><ref name="Lee">{{citar periódico|último =Lee|primeiro =Jaehoon|último2 =Xiao|primeiro2 =Lechao|último3 =Schoenholz|primeiro3 =Samuel S.|último4 =Bahri|primeiro4 =Yasaman|último5 =Novak|primeiro5 =Roman|último6 =Sohl-Dickstein|primeiro6 =Jascha|último7 =Pennington|primeiro7 =Jeffrey|data=2018-02-15|título=Wide Neural Networks of Any Depth Evolve as Linear Models Under Gradient Descent|arxiv=1902.06720}}</ref><ref name=":1">{{Citation|último =Arora|primeiro =Sanjeev|título=On Exact Computation with an Infinitely Wide Neural Net|data=2019|periódico= NeurIPS |páginas=8139–8148|último2 =Du|primeiro2 =Simon S|último3 =Hu|primeiro3 =Wei|último4 =Li|primeiro4 =Zhiyuan|último5 =Salakhutdinov|primeiro5 =Russ R|último6 =Wang|primeiro6 =Ruosong|arxiv=1904.11955}}</ref><ref>{{citar arXiv|último =Huang|primeiro =Jiaoyang|último2 =Yau|primeiro2 =Horng-Tzer|data=2019-09-17|título=Dynamics of Deep Neural Networks and Neural Tangent Hierarchy| arxiv =1909.08156}}</ref>

{{Referências}}
{{Esboço-computação}}
{{Inteligência artificial}}
{{Portal3|Tecnologia|Tecnologias de informação}}

[[Categoria:Ciência da computação]]
[[Categoria:Aprendizagem de máquina]]
[[Categoria:Tecnologia da informação]]