Algoritmo Silva-Almeida

No âmbito da Redes Neuronais Artificiais (RNA), o algoritmo Silva-Almeida é um algoritmo metaheurístico que se utiliza para acelerar a convergência durante o processo de Backpropagation numa RNA. É uma modificação do método do gradiente.

Formulação

Este método, dentro de certas condições, tem convergência garantida. Consiste, essencialmente, em modificar step size parameter, η, a cada iteração e de cada peso dos ramos do perceptrão multicamada, dependendo da variação do gradiente da função de custo.

A equação para a atualização de η:

${\eta }_{ji}^n=\{\begin{array}{cc}{\eta }_{ji}^{n-1}u,& \text{se }{\left(\frac{\partial E}{\partial w_{ji}}\right)}^n\times {\left(\frac{\partial E}{\partial w_{ji}}\right)}^{n-1}>0\\ {\eta }_{ji}^{n-1}d,& \text{se }{\left(\frac{\partial E}{\partial w_{ji}}\right)}^n\times {\left(\frac{\partial E}{\partial w_{ji}}\right)}^{n-1}<0\end{array}$

Onde o sobrescrito indica o número da iteração. Os parâmetros a serem definidos para o método são $0<d<1<u$ .

Estes indicam se o tamanho do passo do algoritmo deve diminuir d (down) ou aumentar u (up).

Funcionamento

Com uma simples análise a fórmula que calcula o step size parameter a cada iteração repara-se que, se o gradiente tiver a mesma direção duas iterações consecutivas, então, deseja-se que o algoritmo acelere e prossiga nessa direção mais rapidamente. Caso contrário, em duas iterações seguidas, o gradiente mudar de direção, vamos querer que o método abrande pois podemos estar perto de uma região que force a divergência do algoritmo.

Valores típicos, $u=1.1,d=0.9$