Kernel de tangente neural

No estudo de redes neurais artificiais (RNAs), o kernel de tangente neural (KTN) é um kernel que descreve a evolução de redes neurais artificiais profundas durante seu treinamento por gradiente descendente . Ele permite que RNAs sejam estudadas usando algoritmos do tipo Máquina de vetores de suporte.

Para a maioria das arquiteturas de rede neural, no limite da largura da camada, o KTN se torna constante. Isso permite que declarações simples de forma fechada sejam feitas sobre previsões de rede neural, dinâmicas de treinamento, generalização e superfícies de perda. Por exemplo, ele garante que RNAs largas o suficiente convergem para um mínimo global quando treinados para minimizar uma perda empírica. O KTN de redes de grande largura também está relacionado a vários outros limites de largura de redes neurais.

O KTN foi lançado em 2018 por Arthur Jacot, Franck Gabriel e Clément Hongler. Também estava implícito em alguns trabalhos contemporâneos.

Definição

Caso de saída escalar

Uma RNA com saída escalar consiste em uma família de funções $f(\cdot ,\theta ):{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to ℝ$ parametrizado por um vetor de parâmetros $\theta \in {ℝ}^P$.

O KTN é um kernel $\mathrm{\Theta }:{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\times {ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to ℝ$ definido por $$\mathrm{\Theta }(x,y;\theta )=\sum _{p=1}^P{\partial }_{{\theta }_p}f(x;\theta ){\partial }_{{\theta }_p}f(y;\theta ).$$

Em uma SVM, o KTN $\mathrm{\Theta }$ é um kernel associado a uma feature ${(x\mapsto {\partial }_{{\theta }_p}f(x;\theta ))}_{p=1,\dots ,P}$.

Caso de saída vetorial

Uma RNA com saída vetorial de tamanho $n_{\mathrm{o}\mathrm{u}\mathrm{t}}$ consiste em uma família de funções $f(\cdot ;\theta ):{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to {ℝ}^{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}$ parametrizada por um vetor de parâmetros $\theta \in {ℝ}^P$.

Neste caso o KTN $\mathrm{\Theta }:{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\times {ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to {ℳ}_{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}\left(ℝ\right)$ é um SVM de saída vetorial com valores de $n_{\mathrm{o}\mathrm{u}\mathrm{t}}\times n_{\mathrm{o}\mathrm{u}\mathrm{t}}$ e matrizes definidas por $${\mathrm{\Theta }}_{k,l}(x,y;\theta )=\sum _{p=1}^P{\partial }_{{\theta }_p}{f}_k(x;\theta ){\partial }_{{\theta }_p}{f}_l(y;\theta ).$$

Derivação

Ao otimizar os parâmetros $\theta \in {ℝ}^P$ de uma RNA para minimizar uma perda empírica através da método do gradiente, o KTN determina a dinâmica da função de saída da RNA $f_{\theta }$ durante todo o treinamento.

Caso de saída escalar

Para um dataset ${\left(x_i\right)}_{i=1,\dots ,n}\subset {ℝ}^{n_{\mathrm{i}\mathrm{n}}}$ com rótulos escalares ${\left(z_i\right)}_{i=1,\dots ,n}\subset ℝ$ e uma função de perda $c:ℝ\times ℝ\to ℝ$ associada a uma perda empírica, definida em funções $f:{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to ℝ$ é dada por $$𝒞\left(f\right)=\sum _{i=1}^{n}c(f\left(x_i\right),z_i).$$

Ao treinar uma RNA $f(\cdot ;\theta ):{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to ℝ$ é treinado para se ajustar ao conjunto de dados (ou seja, minimizar $𝒞$) via método do gradiente por tempo contínuo os parâmetros ${\left(\theta \left(t\right)\right)}_{t\ge 0}$ evoluem através da função diferencial ordinária:

$${\partial }_t\theta \left(t\right)=-\mathrm{\nabla }𝒞\left(f(\cdot ;\theta )\right).$$

Durante o treinamento, a função de saída da RNA segue a evolução de uma equação diferencial dada em termos de KTN:

${\partial }_{t}f(x;\theta \left(t\right))=-\sum _{i=1}^n\mathrm{\Theta }(x,x_i;\theta ){\partial }_{w}c(w,z_i){|}_{w=f(x_i;\theta \left(t\right))}.$

Esta equação mostra como o KTN conduz a dinâmica de $f(\cdot ;\theta \left(t\right))$ no espaço das funções ${ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to ℝ$ durante o treinamento.

Caso de saída vetorial

Para um dataset ${\left(x_i\right)}_{i=1,\dots ,n}\subset {ℝ}^{n_{\mathrm{i}\mathrm{n}}}$ com vetores ${\left(z_i\right)}_{i=1,\dots ,n}\subset {ℝ}^{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}$ e uma função de perda $c:{ℝ}^{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}\times {ℝ}^{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}\to ℝ$ a perda empírica correspondente em funções $f:{ℝ}^{n_{\mathrm{i}\mathrm{n}}}\to {ℝ}^{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}$ é definida por:

$$𝒞\left(f\right)=\sum _{i=1}^{n}c(f\left(x_i\right),z_i).$$

O treinamento de $f_{\theta \left(t\right)}$ através do método do gradiente por tempo contínuo produz a seguinte evolução na função do espaço gerada pelo KTN:

$${\partial }_t{f}_k(x;\theta \left(t\right))=-\sum _{i=1}^n\sum _{l=1}^{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}{\mathrm{\Theta }}_{k,l}(x,x_i;\theta ){\partial }_{w_l}c((w_1,\dots ,w_{n_{\mathrm{o}\mathrm{u}\mathrm{t}}}),z_i){|}_{w=f(x_i;\theta \left(t\right))}.$$

Interpretação

O KTN $\mathrm{\Theta }(x,x_i;\theta )$ representa a influência da perda de gradiente ${\partial }_{w}c(w,z_i){|}_{w=f(x_i;\theta )}$ com respeito ao exemplo $i$ sobre a evolução da saída (produção) da RNA $f(x;\theta )$ através de uma etapa do método do gradiente: no caso escalar, se lê:

$$f(x;\theta (t+ϵ))-f(x;\theta \left(t\right))\approx ϵ\sum _{i=1}^n\mathrm{\Theta }(x,x_i;\theta \left(t\right)){\partial }_{w}c(w,z_i){|}_{w=f(x_i;\theta )}.$$

Em particular, cada ponto de dados $x_i$ influencia a evolução do resultado $f(x;\theta )$ para cada $x$ ao longo do treinamento, de modo que é capturada pelo KTN $\mathrm{\Theta }(x,x_i;\theta )$.

Grande limite de largura

Trabalhos teóricos e empíricos recentes em aprendizagem profunda mostraram que o desempenho das RNAs melhora estritamente à medida que a largura de suas camadas aumenta. Para várias arquiteturas de RNA o KTN fornece uma visão precisa sobre o treinamento neste regime de grandes larguras.