Mostrar código-fonte de Função softmax

{{Barra de aprendizagem de máquina}}

A '''função softmax''', também conhecida como '''softargmax'''<ref>{{cite book|url=https://www.deeplearningbook.org/contents/mlp.html|title=Deep Learning|last1=Goodfellow|first1=Ian|last2=Bengio|first2=Yoshua|last3=Courville|first3=Aaron|publisher=MIT Press|lingua=en|isbn=978-0-26203561-3|authorlink2=Yoshua Bengio|year=2016|chapter-url=|section=6.2.2.3 Softmax Units for Multinoulli Output Distributions|pages=180–184}}</ref>{{rp|184}} ou '''função exponencial normalizada''',<ref name="bishop">{{cite book|title=Pattern Recognition and Machine Learning|last=Bishop|first=Christopher M.|publisher=Springer|lingua=EN|isbn=0-387-31073-8|year=2006}}</ref>{{rp|198}} converte um vetor de {{mvar|K}} números reais em uma [[distribuição de probabilidade]] de {{mvar|K}} resultados possíveis. É uma generalização da [[função logística]] para várias dimensões e é usada na {{Ill|en|Regressão logística multinomial|Multinomial logistic regression|regressão logística multinomial}}. A função softmax é frequentemente usada como a última {{Ill|en|Função de ativação|Activation function|função de ativação}} de uma [[Rede neural artificial|rede neural]] para normalizar a saída de uma rede para uma [[distribuição de probabilidade]] sobre as classes de saída previstas, com base no {{Ill|en|Axioma de escolha de Luce|Luce's choice axiom|axioma de escolha de Luce}}.

== Definição ==
A função softmax recebe como entrada um vetor {{mvar|z}} de {{mvar|K}} números reais e o normaliza em uma [[distribuição de probabilidade]] que consiste em {{mvar|K}} probabilidades proporcionais aos exponenciais dos números de entrada. Ou seja, antes de aplicar a softmax, alguns componentes do vetor podem ser negativos ou maiores que um e podem não somar 1, mas, após aplicar a softmax, cada componente estará no [[Intervalo (matemática)|intervalo]] <math>(0, 1)</math>, e os componentes serão somados a 1, de modo que possam ser interpretados como probabilidades. Além disso, os componentes de entrada maiores corresponderão a probabilidades maiores.

A função softmax padrão (unitária) <math>\sigma : \R^K \mapsto (0, 1)^K</math>, na qual <math>K \ge 1</math> define-se por <math>\sigma(\mathbf{z})_i = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}} \ \ \text{ for } i = 1, \dotsc, K \text{ and } \mathbf{z} = (z_1, \dotsc, z_K) \in \R^K.</math>

Em outras palavras, é aplicada a [[função exponencial]] padrão a cada elemento <math>z_i</math> do vetor de entrada <math>\mathbf z</math> e esses valores são normalizados dividindo-se pela soma de todos esses exponenciais. A normalização garante que a soma dos componentes do vetor de saída <math>\sigma(\mathbf z)</math> seja 1. O termo "softmax" deriva dos efeitos de amplificação do exponencial em qualquer máximo no vetor de entrada. Por exemplo, o softmax padrão de <math>(1,2,8)</math> é aproximadamente <math>(0.001,0.002,0.997)</math>, o que equivale a atribuir quase todo o peso unitário total no resultado à posição do elemento máximo do vetor (de 8).

Em geral, em vez de {{mvar|e}}, uma {{Ill|en|Base (exponenciação)|Base (exponentiation)|Base}} diferente {{math|b > 0}} pode ser usada.  Se {{math|0 < b < 1}}, componentes de entrada menores resultarão em probabilidades de saída maiores, e a diminuição do valor de {{mvar|b}} criará distribuições de probabilidade mais concentradas em torno das posições dos menores valores de entrada.

Por outro lado, como acima, se {{math|b > 1}} componentes de entrada maiores resultarão em probabilidades de saída maiores, e o aumento do valor de {{mvar|b}} criará distribuições de probabilidade mais concentradas em torno das posições dos maiores valores de entrada. Escrever <math>b = e^\beta</math> ou <math>b = e^{-\beta}</math>{{efn|{{mvar|β}} positivo corresponde à convenção máxima e é comum no aprendizado de máquina, correspondendo à pontuação mais alta com maior probabilidade. O {{math|-β}} negativo corresponde à convenção mínima e é convencional em termodinâmica, correspondendo ao estado de energia mais baixo com a probabilidade mais alta; isso corresponde à convenção na [[Distribuição de Boltzmann|distribuição de Gibbs]], interpretando {{mvar|β}} como [[Beta termodinâmico|frieza]].}} (para {{mvar|β}} real){{efn|A notação {{mvar|β}} é para o [[beta termodinâmico]], que é o inverso da [[temperatura]]: <math>\beta = 1/T</math>, <math>T = 1/\beta. </math>}} produz as expressões:{{efn|Para <math>\beta = 0</math> ([[Beta termodinâmico|frieza]] zero, temperatura infinita), <math>b = e^\beta = e^0 = 1</math>, e isso se torna a função constante {{tmath|(1/n, \dots, 1/n)}}, correspondente à [[distribuição uniforme discreta]].}}<math display="block">\sigma(\mathbf{z})_i = \frac{e^{\beta z_i}}{\sum_{j=1}^K e^{\beta z_j}} \text{ ou } \sigma(\mathbf{z})_i = \frac{e^{-\beta z_i}}{\sum_{j=1}^K e^{-\beta z_j}} \text{ for } i = 1, \dotsc , K .</math>Em alguns campos, a base é fixa, correspondendo a uma escala fixa,{{efn|Na mecânica estatística, a fixação de {{mvar|β}} é interpretada como tendo frio e temperatura de 1.}}, enquanto em outros o parâmetro {{mvar|β}} é variado.

== Interpretações ==

=== Arg max suave ===
O nome "softmax" é enganoso. A função não é um {{Ill|en|Máximo suave|Smooth maximum|máximo suave}} (ou seja, uma [[Função suave|aproximação suave]] da função [[Pontos extremos de uma função|máxima]]), mas uma aproximação suave da função {{Ill|en|Arg max|Arg max|arg max}}: a função cujo valor é o "índice" do maior elemento de um vetor. De fato, o termo "softmax" também é usado para a função {{Ill|en|LogSumExp|LogSumExp}}, que é um máximo suave. Por esse motivo, alguns preferem o termo mais preciso "softargmax", mas o termo "softmax" é convencional no aprendizado de máquina.<ref name=":0">{{cite book|url=https://medium.com/@u39kun/is-the-term-softmax-driving-you-nuts-ee232ab4f6bd|title="Is the term "softmax" driving you nuts?"|last1=Yusaku|first1=Sako|last2=|first2=|year=2018|authorlink1=|chapter-url=|section=|pages=}}</ref>{{sfn|Goodfellow|Bengio|Courville|2016|pp=183-184|ps=: O nome "softmax" pode ser um pouco confuso. A função está mais relacionada à função arg max do que à função máxima. O termo "soft" deriva do fato de que a função softmax é contínua e diferenciável. A função arg max, com seu resultado representado como um vetor de um único disparo, não é contínua nem diferenciável. Assim, a função softmax fornece uma versão "suavizada" da arg max. A versão suave correspondente da função máxima é <math>\operatorname{softmax}(\mathbf{z})^\top \mathbf{z}</math>. Talvez fosse melhor chamar a função softmax de "softargmax", mas o nome atual é uma convenção arraigada}} Esta seção usa o termo "softargmax" para enfatizar essa interpretação.

Formalmente, em vez de considerar o arg max como uma função com saída categórica <math>1, \dots, n</math> (correspondente ao índice), considere a função arg max com representação [[one-hot]] da saída (supondo que haja um arg máximo exclusivo):

: <math>\operatorname{arg\,max}(z_1,\, \dots,\, z_n) = (y_1,\, \dots,\, y_n) = (0,\, \dots,\, 0,\, 1,\, 0,\, \dots,\, 0),</math>

em que a coordenada de saída <math>y_i = 1</math> se e somente se <math>i</math> for o arg max de <math>(z_1, \dots, z_n)</math>, o que significa que <math>z_i</math> é o único valor máximo de <math>(z_1,\, \dots,\, z_n)</math>. Por exemplo, nessa codificação, <math>\operatorname{arg\,max}(1, 5, 10) = (0, 0, 1),</math> já que o terceiro argumento é o máximo.

Isso pode ser generalizado para vários valores de arg max (vários iguais a <math>z_i</math> sendo o máximo) dividindo o 1 entre todos os args max; formalmente {{math|1/k}} onde {{mvar|k}} é o número de argumentos que assumem o máximo. Por exemplo, <math>\operatorname{arg\,max}(1,\, 5,\, 5) = (0,\, 1/2,\, 1/2),</math> já que o segundo e o terceiro argumento são ambos máximos. No caso de todos os argumentos serem iguais, isso é simplesmente <math>\operatorname{arg\,max}(z, \dots, z) = (1/n, \dots, 1/n). </math> Os pontos {{mvar|'''z'''}} com vários valores de arg max são [[Ponto singular de uma variedade algébrica|pontos singulares]] (ou singularidades, e formam o conjunto singular) - esses são os pontos em que arg max é descontínuo (com uma {{Ill|en|Classificação de descontinuidades|Classification of discontinuities|descontinuidade de salto}}) - enquanto os pontos com um único arg max são conhecidos como pontos não-singulares ou regulares.

Com a última expressão dada na introdução, softargmax é agora uma aproximação suave de arg max: como {{tmath|\beta \to \infty}}, softargmax converge para arg max. Há várias noções de convergência de uma função; softargmax converge para arg max [[Convergência pontual|pontualmente]], o que significa que, para cada entrada fixa {{math|'''z'''}}} como {{tmath|\beta \to \infty}}, <math>\sigma_\beta(\mathbf{z}) \to \operatorname{arg\,max}(\mathbf{z}). </math> No entanto, softargmax não [[Convergência uniforme|converge uniformemente]] para arg max, o que significa intuitivamente que pontos diferentes convergem em taxas diferentes e podem convergir de forma arbitrariamente lenta. De fato, o softargmax é contínuo, mas o arg max não é contínuo no conjunto singular em que duas coordenadas são iguais, enquanto o limite uniforme de funções contínuas é contínuo. O motivo pelo qual ele não converge uniformemente é que, para entradas em que duas coordenadas são quase iguais (e uma é a máxima), o arg max é o índice de uma ou outra, portanto, uma pequena alteração na entrada produz uma grande alteração na saída. Por exemplo, <math>\sigma_\beta(1,\, 1.0001) \to (0, 1),</math> mas <math>\sigma_\beta(1,\, 0. 9999) \to (1,\, 0),</math> e <math>\sigma_\beta(1,\, 1) = 1/2</math> para todas as entradas: quanto mais próximos os pontos estiverem do conjunto singular <math>(x, x)</math>, mais lentamente eles convergem. No entanto, o softargmax faz {{Ill|en|Convergência compacta|Compact convergence|converge de forma compacta}} no conjunto não-singular.

Por outro lado, como {{tmath|\beta \to -\infty}}, softargmax converge para arg min da mesma forma, onde aqui o conjunto singular são pontos com dois valores de arg ''min''. Na linguagem da {{Ill|en|Análise tropical|Tropical analysis|análise tropical}}, o softmax é uma {{Ill|en|Teoria das deformações|Deformation (mathematics)|deformação}} ou "quantização" de arg max e arg min, correspondendo ao uso do {{Ill|en|Semi-anel logarítmico|Log semiring|semi-anel logarítmico}} em vez do {{Ill|en|Semi-anel tropical|Semi-anel tropical|semi-anel tropical máximo}} (respectivamente {{Ill|en|Semi-anel tropical|Tropical semiring|semi-anel tropical mínimo}}), e a recuperação do arg max ou arg min tomando o limite é chamada de "tropicalização" ou "dequantização".

Também ocorre que, para qualquer {{mvar|β}} fixo, se uma entrada {{tmath|z_i}} for muito maior do que as outras "relativas" à temperatura, <math>T = 1/\beta</math>, o resultado será aproximadamente o arg max. Por exemplo, uma diferença de 10 é grande em relação a uma temperatura de 1:<math display="block">\sigma(0,\, 10) := \sigma_1(0,\, 10) = \left(1/\left(1 + e^{10}\right),\, e^{10}/\left(1 + e^{10}\right)\right) \approx (0.00005,\, 0.99995)</math>No entanto, se a diferença for pequena em relação à temperatura, o valor não estará próximo do valor máximo de arg. Por exemplo, uma diferença de 10 é pequena em relação a uma temperatura de 100:<math display="block">\sigma_{1/100}(0,\, 10) = \left(1/\left(1 + e^{1/10}\right),\, e^{1/10}/\left(1 + e^{1/10}\right)\right) \approx (0.475,\, 0.525).</math>Como {{tmath|\beta \to \infty}}, a temperatura vai para zero, <math>T = 1/\beta \to 0</math>, portanto, todas as diferenças acabam se tornando grandes (em relação a uma temperatura cada vez menor), o que proporciona outra interpretação para o comportamento limite.

=== Teoria da probabilidade ===
Na [[teoria da probabilidade]], a saída da função softargmax pode ser usada para representar uma {{Ill|en|Distribuição categórica|Categorical distribution|distribuição categórica}}, ou seja, uma [[distribuição de probabilidade]] sobre {{mvar|K}} diferentes resultados possíveis.

=== Mecânica estatística ===
Na [[mecânica estatística]], a função softargmax é conhecida como [[distribuição de Boltzmann]] (ou distribuição de Gibbs):<ref>{{cite book|url=https://mitpress.mit.edu/books/predicting-structured-data|title=Predicting Structured Data|last1=LeCun|first1=Yann|last2=Chopra|first2=Sumit|last3=Hadsell|first3=Raia|last4=Ranzato|first4=Marc’Aurelio|last5=Huang|first5=Fu Jie|publisher=MIT Press|series=Neural Information Processing series|lingua=EN|chapter=A Tutorial on Energy-Based Learning|isbn=978-0-26202617-8|editor2=Thomas Hofmann|editor3=Bernhard Schölkopf|editor4=Alexander J. Smola|editor5=Ben Taskar|editor6=S.V.N Vishwanathan|author-link1=Yann LeCun|chapter-url=http://yann.lecun.com/exdb/publis/pdf/lecun-06.pdf|year=2006|editor1=Gökhan Bakır}}</ref>{{rp|7}} o conjunto de índices <math>{1,\, \dots,\, k}</math> são os [[Microestado (física)|microestados]] do sistema; as entradas <math>z_i</math> são as energias desse estado; o denominador é conhecido como a [[Função de partição (mecânica estatística)|função de partição]], geralmente denotada por {{mvar|Z}}; e o fator {{mvar|β}} é chamado de [[Beta termodinâmico|frieza]] (ou [[beta termodinâmico]], ou [[temperatura inversa]]).

== Aplicações ==
A função softmax é usada em vários métodos de {{Ill|en|Classificação multiclasse|Multiclass classification|classificação multiclasse}}, como a {{Ill|en|Regressão logística multinomial|Multinomial logistic regression|regressão logística multinomial}} (também conhecida como regressão softmax)<ref name="bishop" />{{rp|206–209}} [http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/] {{Ill|en|Análise discriminante linear|Linear discriminant analysis|análise discriminante linear}} multiclasse, [[Naive Bayes|classificador Naive Bayes]] e [[Rede neural artificial|redes neurais artificiais]].<ref>{{Citar web|url=http://www.faqs.org/faqs/ai-faq/neural-nets/part2/section-12.html|titulo=comp.ai.neural-nets FAQ, Part 2 of 7: LearningSection - What is a softmax activation function?|acessodata=|website=www.faqs.org|lingua=EN}}</ref> Especificamente, na regressão logística multinomial e na análise discriminante linear, a entrada para a função é o resultado de {{mvar|K}} [[funções lineares]] distintas, e a probabilidade prevista para a {{mvar|j}}-ésima classe, dado um vetor de amostra {{math|'''x'''}} e um vetor de ponderação {{math|'''w'''}} é:

: <math>P(y=j\mid \mathbf{x}) = \frac{e^{\mathbf{x}^\mathsf{T}\mathbf{w}_j}}{\sum_{k=1}^K e^{\mathbf{x}^\mathsf{T}\mathbf{w}_k}}</math>

Isso pode ser visto como a [[Composição de funções|composição]] de funções lineares {{mvar|K}} <math>\mathbf{x} \mapsto \mathbf{x}^\mathsf{T}\mathbf{w}_1, \ldots, \mathbf{x} \mapsto \mathbf{x}^\mathsf{T}\mathbf{w}_K</math> e a função softmax (em que <math>\mathbf{x}^\mathsf{T}\mathbf{w}</math> denota o produto interno de <math>\mathbf{x}</math> e <math>\mathbf{w}</math>). A operação é equivalente à aplicação de um operador linear definido por <math>\mathbf{w}</math> aos vetores <math>\mathbf{x}</math>, transformando assim a entrada original, provavelmente altamente dimensional, em vetores em um espaço <math>\mathbb{R}^K</math> dimensional {{mvar|K}}.

=== Redes neurais ===
A função softmax padrão é frequentemente usada na camada final de um classificador baseado em rede neural. Essas redes são comumente treinadas em um regime de [[Entropia cruzada|perda logarítmica]] (ou entropia cruzada), fornecendo uma variante não linear da regressão logística multinomial. Como a função mapeia um vetor e um índice específico <math>i</math> para um valor real, a derivada precisa levar o índice em consideração:<math display="block">\frac{\partial}{\partial q_k}\sigma(\textbf{q}, i) = \sigma(\textbf{q}, i)(\delta_{ik} - \sigma(\textbf{q}, k)).</math>Essa expressão é simétrica nos índices <math>i, k</math> e, portanto, também pode ser expressa como

: <math> \frac{\partial}{\partial q_k}\sigma(\textbf{q}, i) = \sigma(\textbf{q}, k)(\delta_{ik} - \sigma(\textbf{q}, i)).</math>

Aqui, o [[delta de Kronecker]] é usado por simplicidade (cf. a derivada de uma [[função sigmoide]], sendo expressa por meio da própria função).

Para obter cálculos numéricos estáveis da derivada, geralmente subtrai-se uma constante do vetor de entrada. Em teoria, isso não altera a saída e nem a derivada. Mas é mais estável, pois pode controlar explicitamente o maior valor computado em cada expoente. Se a função for dimensionada com o parâmetro <math>\beta</math>, essas expressões deverão ser multiplicadas por <math>\beta</math>.

=== Aprendizado por reforço ===
No segmento de {{Ill|en|Aprendizado por reforço|Reinforcement learning|aprendizado por reforço}}, uma função softmax pode ser usada para converter valores em probabilidades de ação. A função comumente usada é:<ref>{{Citar web|ultimo=Sutton|primeiro=R. S.|ultimo2=Barto|primeiro2=A. G.|url=http://incompleteideas.net/book/ebook/node17.html|titulo=2.3 Softmax Action Selection|website=incompleteideas.net|publicado=The MIT Press|ano=1998|local=Cambridge, MA|lingua=EN}}</ref><math display="block">P_t(a) = \frac{\exp(q_t(a)/\tau)}{\sum_{i=1}^n\exp(q_t(i)/\tau)} \text{,}</math>em que o valor da ação <math>q_t(a)</math> corresponde à recompensa esperada de seguir a ação a e <math>\tau</math> é chamado de parâmetro de temperatura (em alusão à [[mecânica estatística]]). Para temperaturas altas (<math>\tau \to \infty</math>), todas as ações têm praticamente a mesma probabilidade e, quanto mais baixa a temperatura, mais as recompensas esperadas afetam a probabilidade. Para uma temperatura baixa (<math>\tau \to 0^+</math>), a probabilidade da ação com a maior recompensa esperada tende a 1.

== Complexidade computacional e soluções ==
Em aplicações de redes neurais, o número {{mvar|K}} de resultados possíveis costuma ser grande, por exemplo, no caso de [[Modelo de linguagem|modelos de linguagem neural]] que preveem o resultado provável de um vocabulário que pode conter milhões de palavras possíveis.<ref name=": 0">{{{Cite journal |title=Recuperação de informações neurais: at the end of the early years |date=2018-06-01 |journal=Information Retrieval Journal |issue=2 |last2=Zhang |first2=Ye |pages=111-182 |language=en |doi=10.1007/s10791-017-9321-y |issn=1573-7659 |last3=Altingovde |first3=Ismail Sengor |last4=Rahman |first4=Md Mustafizur |last5=Karagoz |first5=Pinar |last6=Braylan |first6=Alex |last7=Dang |first7=Brandon |last8=Chang |first8=Heng- Lu |last9=Kim |first9=Henna |volume=21 |last1=Onal |first1=Kezban Dilek |last10=McNamara |first10=Quinten |last11=Angert |first11=Aaron |s2cid=21684923}}</ref>

Isso pode tornar os cálculos para a camada softmax (ou seja, as multiplicações de matriz para determinar o <math>z_i</math>, seguidas pela aplicação da própria função softmax) computacionalmente caros.<ref name=": 0" /><ref name=":1">{{Cite journal |url=https://aclanthology.org/P16-1186 |title=Strategies for Training Large Vocabulary Neural Language Models |date=agosto de 2016 |journal=Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) |publisher=Association for Computational Linguistics |last2=Grangier |first2=David |location=Berlin, Germany |pages=1975-1985 |lingua=en |doi=10.18653/v1/P16-1186 |last3=Auli |first3=Michael |doi-access=free |last1=Chen |first1=Wenlin |s2cid=6035643}}</ref> Além disso, o método de {{Ill|en|Retropropagação|Backpropagation|retropropagação}} de [[Método do gradiente|declive gradiente]] para treinar essa rede neural envolve o cálculo do softmax para cada exemplo de treinamento, e o número de exemplos de treinamento também pode se tornar grande. O esforço computacional para o softmax tornou-se um fator limitante importante no desenvolvimento de modelos de linguagem neural maiores, motivando várias soluções para reduzir o tempo de treinamento.<ref name=": 0" /><ref name=":1" />

As abordagens que reorganizam a camada de softmax para um cálculo mais eficiente incluem o '''softmax hierárquico''' e o '''softmax diferenciado'''.<ref name=": 0" /> O softmax hierárquico (introduzido por Morin e [[Yoshua Bengio|Bengio]] em 2005) usa uma estrutura de árvore binária em que os resultados (palavras do vocabulário) são as folhas e os nós intermediários são "classes" de resultados adequadamente selecionadas, formando [[Variável latente|variáveis latentes]].<ref name=":1" /><ref name=":2">{{Cite journal |url=https://www.iro.umontreal.ca/~lisa/pointeurs/hierarchical-nnlm-aistats05.pdf |title=Hierarchical Probabilistic Neural Network Language Model |date=2005-01-06 |journal=International Workshop on Artificial Intelligence and Statistics |publisher=PMLR |last2=Bengio |first2=Yoshua |pages=246-252 |language=en |last1=Morin |first1=Frederic}}</ref> A probabilidade desejada (valor softmax) de uma folha (resultado) pode então ser calculada como o produto das probabilidades de todos os nós no caminho da raiz até essa folha.<ref name=":1" /> Idealmente, quando a árvore estiver equilibrada, isso reduziria a [[complexidade computacional]] de <math>O(K)</math> para <math>O(\log_2 K)</math>.<ref name=":2" /> Na prática, os resultados dependem da escolha de uma boa estratégia para agrupar os resultados em classes.<ref name=":1" /><ref name=":2" /> Uma [[Codificação de Huffman|árvore de Huffman]] foi usada para isso nos modelos {{Ill|en|Word2vec|Word2vec|word2vec}} do Google (introduzidos em 2013) para obter escalabilidade.

Um segundo tipo de solução se baseia na aproximação do softmax (durante o treinamento) com funções de perda modificadas que evitam o cálculo do fator de normalização completo.<ref name=": 0" /> Isso inclui métodos que restringem a soma de normalização a uma amostra de resultados (amostragem de importância, amostragem de alvo, por exemplo).<ref name=": 0" /><ref name=":1" />

== Propriedades matemáticas ==
Geometricamente, a função softmax mapeia o [[espaço vetorial]] <math>\mathbb{R}^K</math> para a [[Fronteira (matemática)|fronteira]] do [[Simplex (topologia)|simplex padrão <math>(K-1)</math>]], reduzindo a dimensão em um (o intervalo é um simplex <math>(K - 1)</math>-dimensional em um espaço <math>K</math>-dimensional), devido à [[Equação linear|restrição linear]] de que todos os resultados somam 1, o que significa que ele está em um [[hiperplano]]. Ao longo da diagonal principal <math>(x,\, x,\, \dots,\, x),</math> a softmax é apenas a distribuição uniforme nos resultados, <math>(1/n, \dots, 1/n)</math>: pontuações iguais geram probabilidades iguais. De modo geral, o softmax é invariável sob tradução pelo mesmo valor em cada coordenada: adicionando <math>\mathbf{c} = (c,\, \dots,\, c)</math> às entradas <math>\mathbf{z}</math>, obtém-se <math>\sigma(\mathbf{z} + \mathbf{c}) = \sigma(\mathbf{z})</math>, porque ele multiplica cada expoente pelo mesmo fator, <math>e^c</math> (porque <math>e^{z_i + c} = e^{z_i} \cdot e^c</math>), de modo que as proporções não mudam:

: <math>\sigma(\mathbf{z} + \mathbf{c})_j = \frac{e^{z_j + c}}{\sum_{k=1}^K e^{z_k + c}} = \frac{e^{z_j} \cdot e^c}{\sum_{k=1}^K e^{z_k} \cdot e^c} = \sigma(\mathbf{z})_j.</math>

Geometricamente, a softmax é constante ao longo das diagonais: essa é a dimensão que é eliminada e corresponde ao resultado da softmax ser independente de uma tradução nas pontuações de entrada (uma escolha de pontuação 0). É possível normalizar as pontuações de entrada supondo que a soma seja zero (subtraia a média: <math>\mathbf{c}</math> onde <math display="inline">c =\frac{1}{n} \sum z_i</math>) e, em seguida, a softmax usa o hiperplano de pontos que somam zero, <math display="inline">\sum z_i = 0</math>, para o simplex aberto de valores positivos que somam 1<math display="inline">\sum \sigma(\mathbf{z})_i = 1</math>, de forma análoga a como o expoente leva de 0 a 1, <math>e^0 = 1</math> e é positivo.

Por outro lado, a softmax não é invariável sob escala. Por exemplo, <math>\sigma\bigl((0,\, 1)\bigr) = \bigl(1/(1 + e),\, e/(1 + e)\bigr)</math> mas <math>\sigma\bigl((0, 2)\bigr) = \bigl(1/\left(1 + e^2\right),\, e^2/\left(1 + e^2\right)\bigr).</math>

A [[Função logística#derivada|função logística padrão]] é o caso especial de um eixo unidimensional em um espaço bidimensional, por exemplo, o eixo ''x'' no plano {{math|(x, y)}}. Uma variável é fixada em 0 (digamos <math>z_2 = 0</math>), portanto <math>e^0 = 1</math>, e a outra variável pode variar, denotando <math>z_1 = x</math>, portanto <math display="inline">e^{z_1}/\sum_{k=1}^2 e^{z_k} = e^x/\left(e^x + 1\right), </math> a função logística padrão, e <math display="inline">e^{z_2}/\sum_{k=1}^2 e^{z_k} = 1/\left(e^x + 1\right),</math> seu complemento (o que significa que eles somam 1). A entrada unidimensional poderia, alternativamente, ser expressa como a linha <math>(x/2,\, -x/2)</math>, com saídas <math>e^{x/2}/\left(e^{x/2} + e^{-x/2}\right) = e^x/\left(e^x + 1\right)</math> e <math>e^{-x/2}/\left(e^{x/2} + e^{-x/2}\right) = 1/\left(e^x + 1\right).</math>

A função softmax também é o gradiente da função {{Ill|en|LogSumExp|LogSumExp}}, um {{Ill|en|Máximo suave|Smooth maximum|máximo suave}}:
: <math>\frac{\partial}{\partial z_i} \operatorname{LSE}(\mathbf{z}) = \frac{\exp z_i}{\sum_{j=1}^{K} \exp z_j} = \sigma(\mathbf{z})_i, \quad \text{ for } i = 1, \dotsc , K, \quad \mathbf{z} = (z_1,\, \dotsc,\, z_K) \in\R^K,</math>
em que a função LogSumExp é definida como <math>\operatorname{LSE}(z_1,\, \dots,\, z_n) = \log\left(\exp(z_1) + \cdots + \exp(z_n)\right)</math>.

== Histórico ==
A função softmax foi usada na [[mecânica estatística]] como a [[distribuição de Boltzmann]] no artigo fundamental {{harvtxt|Boltzmann|1868}},<ref>{{cite journal |title=Studien über das Gleichgewicht der lebendigen Kraft zwischen bewegten materiellen Punkten |journal=Wiener Berichte |last=Boltzmann |first=Ludwig |authorlink=Ludwig Boltzmann |year=1868 |pages=517–560 |lingua=alemão |trans-title=Studies on the balance of living force between moving material points |volume=58}}</ref>formalizada e popularizada no influente livro-texto {{harvtxt|Gibbs|1902}}.<ref>{{cite book|url=https://en.wikipedia.org/wiki/Elementary_Principles_in_Statistical_Mechanics|title=Elementary Principles in Statistical Mechanics|last=Gibbs|first=Josiah Willard|lingua=en|authorlink=Josiah Willard Gibbs|year=1902}}</ref>

O uso da softmax na [[teoria da decisão]] é creditado a {{harvtxt|Luce|1959}},<ref name="Gao">{{{cite arXiv|eprint=1704.00805|class=math. OC|first1=Bolin|first2=Lacra|last2=Pavel|title=On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning|last1=Gao|year=2017}}</ref>{{rp|1}} que usou o axioma da {{Ill|en|Independência de alternativas irrelevantes|Independence of irrelevant alternatives|independência de alternativas irrelevantes}} na [[teoria da escolha racional]] para deduzir a softmax no {{Ill|en|Axioma de escolha de Luce|Luce's choice axiom|axioma de escolha de Luce}} para preferências relativas.

No aprendizado de máquina, o termo "softmax" é creditado a John S. Bridle em dois artigos de conferência de 1989, {{harvtxt|Bridle|1990a}}:<ref name="Gao" />{{rp|1}} e {{harvtxt|Bridle|1990b}}:<ref name=":0" />
{{quote|Estamos preocupados com redes não lineares pré-alimentadas (perceptrons multicamadas, ou MLPs) com várias saídas. Queremos tratar as saídas da rede como probabilidades de alternativas ("por exemplo," classes de padrões), condicionadas às entradas. Procuramos não linearidades de saída apropriadas e critérios apropriados para a adaptação dos parâmetros da rede (por exemplo, pesos). Explicamos duas modificações: pontuação de probabilidade, que é uma alternativa à minimização do erro quadrático, e uma generalização exponencial normalizada ('''softmax''') de várias entradas da não linearidade logística.<ref>{{cite conference
|first=John S. |last=Bridle
|year=1990a
|title=Probabilistic Interpretation of Feedforward Classification Network Outputs, with Relationships to Statistical Pattern Recognition
|pages=227–236
|conference=Neurocomputing: Algorithms, Architectures and Applications (1989)
|editor1=Soulié F.F.
|editor2=Hérault J. 
|series=NATO ASI Series (Series F: Computer and Systems Sciences)
|volume=68
|publisher=Springer
|location=Berlin, Heidelberg
|doi=10.1007/978-3-642-76153-9_28
}}</ref>{{rp|227}}}}{{quote|Para qualquer entrada, as saídas devem ser todas positivas e devem somar a unidade...

Dado um conjunto de valores sem restrições, {{tmath|V_j(x)}}, podemos garantir ambas as condições usando uma transformação exponencial normalizada:
: <math>Q_j(x) = \left. e^{V_j(x)} \right/ \sum_k e^{V_k(x)} </math>
Essa transformação pode ser considerada uma generalização de várias entradas da logística, operando em toda a camada de saída. Ela preserva a ordem de classificação de seus valores de entrada e é uma generalização diferenciável da operação ''"winner-take-all"'' de escolher o valor máximo. Por esse motivo, gostamos de nos referir a ela como '''softmax'''.<ref>{{cite conference
|first=John S. |last=Bridle
|year=1990b
|title=Training Stochastic Model Recognition Algorithms as Networks can Lead to Maximum Mutual Information Estimation of Parameters
|url=https://papers.nips.cc/paper/195-training-stochastic-model-recognition-algorithms-as-networks-can-lead-to-maximum-mutual-information-estimation-of-parameters
|conference=[[Advances in Neural Information Processing Systems]] 2 (1989)
|editor = D. S. Touretzky
|publisher = Morgan-Kaufmann
}}</ref>{{rp|213}}}}


== Exemplo ==
Se pegarmos uma entrada de {{math|[1, 2, 3, 4, 1, 2, 3]}}, a softmax disso é {{math|[0,024, 0,064, 0,175, 0,475, 0,024, 0,064, 0,175]}}. A saída tem a maior parte de seu peso onde o "4" estava na entrada original. É para isso que a função é normalmente usada: para destacar os maiores valores e suprimir os valores que estão significativamente abaixo do valor máximo. Mas observe: a softmax não é invariante em escala, portanto, se a entrada fosse {{math|[0.1, 0.2, 0.3, 0.4, 0.1, 0.2, 0.3]}} (que soma 1,6), a softmax seria {{math|[0.125, 0.138, 0.153, 0.169, 0.125, 0.138, 0.153]}}. Isso mostra que, para valores entre 0 e 1, a softmax, de fato, reduz a ênfase no valor máximo (observe que 0,169 não é apenas menor que 0,475, mas também é menor que a proporção inicial de {{math|1=0,4/1,6=0,25}}). Cálculo desse exemplo usando o código [[Python (linguagem de programação)|Python]]:<syntaxhighlight lang="pycon">
>>> import numpy as np
>>> a = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]
>>> np.exp(a) / np.sum(np.exp(a)) 
array([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054,
       0.06426166, 0.1746813])
</syntaxhighlight>Confira um exemplo de código [[Julia (linguagem de programação)|Julia]]:<syntaxhighlight lang="jlcon">
julia> A = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]; # semicolon to suppress interactive output

ulia> exp.(A) ./ sum(exp, A)
7-element Array{Float64,1}:
 0.0236405
 0.0642617
 0.174681
 0.474833
 0.0236405
 0.0642617
 0.174681
</syntaxhighlight>Exemplo de código [[R (linguagem de programação)|R]]:<syntaxhighlight lang="rout">
> z <- c(1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0)
> softmax <- exp(z)/sum(exp(z))
> softmax
[1] 0.02364054 0.06426166 0.17468130 0.47483300 0.02364054 0.06426166 0.17468130
</syntaxhighlight>Exemplo de código [[Elixir (linguagem de programação)|Elixir]]:<ref>{{Cite web|url=https://github.com/elixir-nx/nx/tree/main/nx#examples|title=Nx/Nx at main - elixir-nx/Nx|website=[[GitHub]]|lingua=en}}</ref><syntaxhighlight lang="iex">
iex> t = Nx.tensor([[1, 2], [3, 4]])
iex> Nx.divide(Nx.exp(t), Nx.sum(Nx.exp(t)))

#Nx.Tensor<
  f64[2][2]
  [
    [0.03205860328008499, 0.08714431874203257],
    [0.23688281808991013, 0.6439142598879722]
  ]
>
</syntaxhighlight>Exemplo de código {{Ill|en|Raku (linguagem de programação)|Raku (programming language)|Raku}}:<syntaxhighlight lang="raku">
> my @z = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0];
> say @z.map: {exp($_)/sum(@z.map: {exp($_)})}

(0.023640543021591385 0.06426165851049616 0.17468129859572226 0.4748329997443803 0.023640543021591385 0.06426165851049616 0.17468129859572226)
</syntaxhighlight>

== Ver também ==

* [[Distribuição de Dirichlet]] - uma maneira alternativa de amostrar distribuições categóricas
* [[Função de partição (mecânica estatística)|Função de partição]]

== Notas ==
{{notelist}}

== Referências ==

<references />{{Computação}}{{Cibernética}}

[[Categoria:Engenharia de computação]]
[[Categoria:Redes neurais]]
[[Categoria:Python]]
[[Categoria:Linguagens de programação]]