Mostrar código-fonte de BLEU

O '''Assistente de Avaliação Bilíngue''', [[Língua inglesa|do inglês]] '''''Bilingual Evaluation Understudy''''' mais conhecido pela sigla  '''BLEU''', é um [[algoritmo]] que avalia a qualidade do texto que foi [[Tradução automática|traduzido automaticamente]] de um [[Língua natural|idioma natural]] para outro. A qualidade considera a correspondência entre o resultado de uma máquina e o de um ser humano: "quanto mais próxima uma tradução automática estiver de uma tradução humana profissional, melhor ela é" - essa é a ideia central por trás do BLEU.<ref name=":0">{{Harvtxt|Papineni et al.|2002}}</ref> Inventado na [[IBM]] em 2001,<ref name=":2">{{Citar web|ultimo=Marie|primeiro=Benjamin|url=https://towardsdatascience.com/bleu-a-misunderstood-metric-from-another-age-d434e18f1b37|titulo=BLEU: A Misunderstood Metric from Another Age|data=2022-11-05|acessodata=2023-07-11|website=Medium|lingua=en}}</ref> o BLEU foi uma das primeiras métricas a reivindicar uma alta correlação com julgamentos humanos de qualidade,<ref name=":0" /><ref name=":1">{{Harvtxt|Coughlin|2003}}</ref> e continua sendo uma das métricas automatizadas e econômicas mais populares.

As pontuações são calculadas para segmentos individuais traduzidos - geralmente frases - comparando-os com um conjunto de traduções de referência de boa qualidade. Em seguida, calcula-se a média dessas pontuações em todo o ''[[Corpus linguístico|corpus]]'' para obter uma estimativa da qualidade geral da tradução. A inteligibilidade ou a correção gramatical não são levadas em conta.

O resultado do '''BLEU''' é sempre um número entre 0 e 1. Esse valor indica o grau de semelhança entre o texto candidato e os textos de referência, com valores mais próximos de 1 representando textos mais semelhantes. Poucas traduções humanas atingirão uma pontuação de 1, pois isso indicaria que o candidato é idêntico a uma das traduções de referência. Por esse motivo, não é necessário atingir uma pontuação de 1. Como há mais oportunidades de correspondência, a adição de traduções de referência adicionais aumentará a pontuação BLEU.<ref name=":0" />

== Definição matemática ==

=== Configuração básica ===
Uma primeira tentativa básica de definir a pontuação BLEU receberia dois argumentos: uma ''[[Cadeia de caracteres|string]]'' candidata  <math>\hat y</math> e uma lista de ''strings'' de referência <math>(y^{(1)}, ..., y^{(N)})</math>. A ideia é que <math>BLEU(\hat y; y^{(1)}, ..., y^{(N)})</math> deve estar próximo de 1 quando <math>\hat y</math> é semelhante a <math>(y^{(1)}, ..., y^{(N)})</math>, e próximo de 0 caso contrário.

Como analogia, a pontuação BLEU é como um professor de idiomas tentando avaliar a qualidade da tradução de um aluno <math>\hat y</math> verificando o quanto ela segue as respostas de referência <math>y^{(1)}, ..., y^{(N)}</math>.

Como no processamento de linguagem natural é necessário avaliar um grande conjunto de ''strings'' candidatas, é preciso generalizar a pontuação BLEU para o caso em que se tem uma lista de M ''strings'' candidatas (chamada de "''corpus''") <math>(\hat y^{(1)}, \cdots, \hat y^{(M)})</math>, e para cada string candidata <math>\hat y</math>, há uma lista de ''strings'' candidatas de referência <math>S_i := (y^{(i, 1)}, ..., y^{(i, N_i)})</math>.

Dada qualquer ''string <math>y = y_1y_2\cdots y_K</math>'', e qualquer integral <math>n \geq 1</math>, pode-se definir o conjunto de seus n-gramas como sendo:<math display="block">G_n(y) = \{y_1 \cdots y_n, y_2 \cdots y_{n+1}, \cdots, y_{K-n+1} \cdots y_K \}</math>Observe que se trata de um conjunto de elementos exclusivos, e não de um [[multiconjunto]] que permite elementos redundantes, de modo que, por exemplo, <math>G_2(abab) = \{ab, ba\}</math>.

Dadas duas ''strings'' <math>s, y</math>, defina a contagem de ''substrings <math>C(s, y)</math>'' como sendo o número de aparições de <math>s</math> como uma ''substring'' de <math>y</math>. Por exemplo, <math>C(ab, abcbab) = 2</math>.

Agora, fixa-se um ''corpus'' candidato <math>\hat S:= (\hat y^{(1)}, \cdots, \hat y^{(M)})</math>, e referencia-se o ''corpus'' candidato <math>S = (S_1, \cdots, S_M)</math>, onde cada S<math>S_i := (y^{(i, 1)}, ..., y^{(i, N_i)})</math>.

=== Precisão de ''n''-grama modificada ===

Defina a função de precisão do [[N-grama|''n''-grama]] modificada como:<math display="block">p_n(\hat S; S):= \frac{\sum_{i=1}^M\sum_{s\in G_n( \hat y^{(i)})} \min(C(s, \hat y^{(i)}), \max_{y\in S_i} C(s, y))}{\sum_{i=1}^M\sum_{s\in G_n( \hat y^{(i)})} C(s, \hat y^{(i)})}</math>O ''n''-grama modificado, que parece complicado, é apenas uma generalização direta do caso prototípico: uma frase candidata e uma frase de referência. Nesse caso, é:<math display="block">p_n(\{\hat y\}; \{y\})= \frac{\sum_{s\in G_n(\hat y)} \min(C(s, \hat y), C(s, y))}{\sum_{s\in G_n(\hat y)} C(s, \hat y)}</math>Para chegar a essa expressão, começamos com a soma mais óbvia da contagem de ''n''-gramas:<math display="block">\sum_{s\in G_n(\hat y)}  C(s, y) = \text{número de n-substrings em } \hat y\text{ que aparecem em } y</math>Essa quantidade mede quantos ''n''-gramas na frase de referência são reproduzidos pela frase candidata. Observe que contamos as ''n''-''substrings'', não os ''n''-gramas. Por exemplo, quando <math>\hat y= aba, y = abababa, n=2</math>, todas as 2-''substrings'' em <math>\hat y</math> (ab e ba) aparecem em <math>y</math> 3 vezes cada, portanto a contagem é 6, não 2.


Na situação acima, entretanto, a ''string'' de candidatos é muito curta. Em vez de 3 aparições de <math>ab</math> ela contém apenas uma, portanto, adiciona-se uma função mínima para corrigir isso:<math display="block">{\sum_{s\in G_n(\hat y)} \min(C(s, \hat y), C(s, y))}</math>Essa soma de contagem não pode ser usada para comparar frases, pois não é [[Normalização de dados|normalizada]]. Se tanto a frase de referência quanto a frase candidata forem longas, a contagem poderá ser grande, mesmo que a candidata seja de qualidade muito ruim. Portanto, normalisa-se:<math display="block">\frac{\sum_{s\in G_n(\hat y)} \min(C(s, \hat y), C(s, y))}{\sum_{s\in G_n(\hat y)} C(s, \hat y)}</math>A normalização é tal que é sempre um número em <math>[0, 1]</math> permitindo comparações significativas entre os ''corpus''. É zero se nenhuma das ''n''-''substrings'' do candidato estiver na referência. É um se cada ''n''-grama no candidato aparecer na referência, pelo menos tantas vezes quanto no candidato. Em particular, se o candidato for uma ''substring'' da referência, então é um.

=== Penalidade de brevidade ===
A precisão modificada do ''n''-grama atribui indevidamente uma pontuação alta para ''strings'' candidatas que são "telegráficas", ou seja, que contêm todos os ''n''-gramas das cadeias de caracteres de referência, mas pelo menor número de vezes possível.

Para punir as cadeias de ''strings'' que são muito curtas, define-se a penalidade de brevidade como:<math display="block">BP(\hat S; S) := e^{-(r/c-1)^+}</math>onde <math>(r/c-1)^+ = \max(0, r/c - 1)</math> é a parte positiva de <math>r/c - 1</math>.

* Quando <math>r \leq c</math>, a penalidade de brevidade <math>BP = 1</math>, o que significa que não se pune candidatos longos mas apenas candidatos curtos.
* Quando <math>r \leq c</math>, a penalidade de brevidade <math>BP = e^{(1-r)/c}</math>

<math>c</math> é o comprimento do ''corpus'' candidato, ou seja, o tamanho do ''corpus'',<math display="block">c := \sum_{i=1}^M |\hat y^{(i)}|</math>onde <math>|y|</math> é o comprimento de <math>y</math>. <math>r</math> é o comprimento efetivo do ''corpus'' de referência, ou seja,<math display="block">r := \sum_{i=1}^M |y^{(i, j)}|</math>onde <math>y^{(i, j)} = \arg\min_{y\in S_i} ||y| - |\hat y^{(i)}||</math>, ou seja, a frase de <math>S_i</math> cujo comprimento é mais o próximo possível de <math>|\hat y^{(i)}|</math>.

=== Definição final de BLEU ===
Não há uma única definição de '''BLEU''', mas uma família inteira delas, parametrizada pelo vetor de ponderação <math>w := (w_1, w_2, \cdots)</math>. É uma distribuição de probabilidade em <math>\{1, 2, 3, \cdots\}</math>, ou seja, <math>\sum_{i=1}^\infty w_i = 1</math>, e <math>\forall i\in \{1, 2, 3, \cdots\}, w_i\in [0, 1]</math>.

Com a escolha de <math>w</math>, a pontuação BLEU é<math display="block">BLEU_w(\hat S; S) := BP(\hat S; S) \cdot \exp\left(\sum_{n=1}^\infty w_n \ln p_n(\hat S; S)\right)</math>Em outras palavras, é uma [[média geométrica ponderada]] de todas as precisões de ''n''-gramas modificados, multiplicada pela penalidade de brevidade. Usa-se a média geométrica ponderada, em vez da [[média aritmética ponderada]], para favorecer fortemente os ''corpus'' candidatos que são simultaneamente bons de acordo com várias precisões de ''n''-gramas.

A opção mais comum, a recomendada no documento original, é <math>w_1 = \cdots = w_4 = \frac 1 4</math>.<ref>{{Harvtxt|Papineni et al.|2001|}}</ref>

== Algoritmo ==
Isso é ilustrado no seguinte exemplo de Papineni ''et al''. (2002):
{| class="wikitable"
|+Exemplo de um resultado de tradução automática ruim com alta precisão
!Candidato
|''the''
|''the''
|''the''
|''the''
|''the''
|''the''
|''the''
|-
!Referência 1
|''the''
|''cat''
|''is''
|''on''
|''the''
|''mat''
|
|-
!Referência 2
|''there''
|''is''
|''a''
|''cat''
|''on''
|''the''
|''mat''
|-
|}
Das sete palavras na tradução candidata, todas elas aparecem nas traduções de referência. Assim, o texto candidato recebe uma precisão de unigrama de,

<math>P = \frac{m}{w_{t}} = \frac{7}{7} = 1</math>

onde <math>m</math> é o número de palavras do candidato que são encontradas na referência, e <math>w_{t}</math> é o número total de palavras no candidato. Essa é uma pontuação perfeita, apesar do fato de que a tradução do candidato acima retém pouco do conteúdo de qualquer uma das referências.

A modificação que o BLEU faz é bastante simples. Para cada palavra na tradução candidata, o algoritmo obtém sua contagem total máxima, <math>m_{max}</math> em qualquer uma das traduções de referência. No exemplo acima, a palavra "''the''" aparece duas vezes na referência 1 e uma vez na referência 2. Portanto  <math>~m_{max} = 2</math>.

Para a tradução candidata, a contagem <math>~m_{max}</math> de cada palavra é cortada até um máximo de <math>m_{max}</math> para essa palavra. Nesse caso, "''the''" tem <math>m_{w} = 7</math> e <math>~m_{max} = 2</math>, portanto <math>m_{w} </math> é cortado em 2. Essas contagens cortadas <math>m_{w} </math> são somadas a todas as palavras distintas do candidato. Essa soma é então dividida pelo número total de unigramas na tradução candidata. No exemplo acima, a pontuação de precisão do unigrama modificado seria:

<math>P = \frac{2}{7}</math>

Na prática, porém, usar palavras individuais como unidade de comparação não é o ideal. Em vez disso, o BLEU calcula a mesma métrica de precisão modificada usando ''n''-gramas. O comprimento que tem a "maior correlação com julgamentos humanos monolíngues"<ref name=":0" /> foi considerado quatro. As pontuações dos unigramas são responsáveis pela adequação da tradução, pela quantidade de informações retidas. As pontuações mais longas dos n-gramas representam a fluência da tradução, ou até que ponto ela se parece com um "bom inglês".
{| class="wikitable"
|+Comparação de métricas para o candidato "''the the cat''"
!Modelo
!Conjunto de gramas
!Pontuação
|-
|Unigrama
|"''the''", "''the''", "''cat''"
|<math> \frac{1+1+1}{3} = 1</math>
|-
|Unigrama agrupado
|"''the''"*2, "''cat''"*1
|<math> \frac{1+1}{2+1} = \frac{2}{3}</math>
|-
|Bigrama
|"''the the''", "''the cat''"
|<math> \frac{0+1}{2} = \frac{1}{2}</math>
|}
Um exemplo de uma tradução candidata para as mesmas referências acima pode ser:<blockquote>''the cat''</blockquote>Nesse exemplo, a precisão do unigrama modificado seria,

<math>P = \frac{1}{2} + \frac{1}{2} = \frac{2}{2}</math>

pois a palavra "''the''" e a palavra "''cat''" aparecem uma vez cada no candidato, e o número total de palavras é dois. A precisão do bigrama modificado seria <math>1 / 1</math> já que o bigrama "''the cat''" aparece uma vez no candidato. Foi observado que a precisão geralmente é combinada com a recuperação para superar esse problema<ref name=":0" />, já que a recuperação de um unigrama desse exemplo seria <math>3 / 6</math> ou <math>2 / 7</math>. O problema é que, como há várias traduções de referência, uma tradução ruim poderia facilmente ter um ''recall'' inflado, como uma tradução que consistisse em todas as palavras de cada uma das referências.<ref name=":0" />

Para produzir uma pontuação para todo o ''corpus'', as pontuações de precisão modificadas para os segmentos são combinadas usando a [[média geométrica]] multiplicada por uma penalidade de brevidade para evitar que candidatos muito curtos recebam uma pontuação muito alta. Seja ''{{mvar|r}}'' o tamanho total do ''corpus'' de referência e ''{{mvar|c}}'' o tamanho total do corpus de tradução. Se <math>c \leq r</math>, aplica-se a penalidade de brevidade, definida como <math>e^{(1-r/c)}</math>.No caso de várias frases de referência, ''{{mvar|r}}'' é considerado a soma dos comprimentos das frases cujos comprimentos são mais próximos dos comprimentos das frases candidatas. No entanto, na versão da métrica usada pelas avaliações do [[Instituto Nacional de Padrões e Tecnologia|NIST]] antes de 2009, era usada a sentença de referência mais curta.

O iBLEU é uma versão interativa do BLEU que permite que o usuário examine visualmente as pontuações do BLEU obtidas pelas traduções candidatas. Ele também permite a comparação de dois sistemas diferentes de forma visual e interativa, o que é útil para o desenvolvimento de sistemas.<ref>{{Harvtxt|Madnani|2011|}}</ref>

== Desempenho ==
O '''BLEU''' tem sido frequentemente relatado como tendo boa correlação com o julgamento humano,<ref name=":0" /><ref name=":1" /><ref>{{Harvtxt|Doddington|2002|}}</ref> e continua sendo uma referência para a avaliação de qualquer nova métrica de avaliação. No entanto, há uma série de críticas que foram feitas. Observou-se que, embora em princípio seja capaz de avaliar traduções de qualquer idioma, o BLEU não pode, em sua forma atual, lidar com idiomas sem limites de palavras.<ref>{{Harvtxt|Denoual|Lepage|2005|}}</ref> Projetado para ser usado em várias traduções de referência, na prática ele é usado apenas com uma única.<ref name=":2" /> O BLEU é infamemente dependente da técnica de [[Análise léxica|tokenização]], e as pontuações obtidas com diferentes técnicas são incomparáveis (o que é frequentemente ignorado); para melhorar a reprodutibilidade e a comparabilidade, foi criada a variante SacreBLEU.<ref name=":2" />

Argumentou-se que, embora o BLEU tenha vantagens significativas, não há garantia de que um aumento na pontuação do BLEU seja um indicador de melhor qualidade de tradução.<ref>{{Harvtxt|Callison-Burch|Osborne|Koehn|2006}}</ref>

== Veja também ==

*''String'' ([[Cadeia de caracteres]])
*[[N-grama|''N''-grama]]
*[[IBM]]
*[[Tradução automática]]
*[[Tradução]]
*[[Algoritmo]]
{{Referências}}

== Bibliografia ==
{{refbegin}}
* {{Cite journal |last1=Papineni |first1=Kishore |last2=Roukos |first2=Salim |last3=Ward |first3=Todd |last4=Zhu |first4=Wei-Jing |date=2001 |title=BLEU |journal=Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02 |page=311 |location=Morristown, NJ, USA |publisher=Association for Computational Linguistics |doi=10.3115/1073083.1073135|s2cid=11080756 |doi-access=free }}
* {{cite conference |last2=Roukos |first2=S. |url=http://aclweb.org/anthology/P/P02/P02-1040.pdf |title=BLEU: a method for automatic evaluation of machine translation |year=2002 |pages=311–318 |conference=ACL-2002: 40th Annual meeting of the Association for Computational Linguistics |citeseerx=10.1.1.19.9416 |last3=Ward |first3=T. |last4=Zhu |first4=W. J. |last1=Papineni |first1=K.}}
*Papineni,  K., Roukos, S., Ward, T., Henderson, J and Reeder, F. (2002). "[http://mt-archive.info/HLT-2002-Papineni.pdf Corpus-based Comprehensive and Diagnostic MT Evaluation: Initial Arabic, Chinese, French, and Spanish Results] {{Webarchive|url=https://web.archive.org/web/20160304062044/http://mt-archive.info/HLT-2002-Papineni.pdf|date=2016-03-04}}" in Proceedings of Human Language Technology 2002, San Diego, pp.&nbsp;132–137
* Callison-Burch, C., Osborne, M. and Koehn, P. (2006) "[http://www.cs.jhu.edu/~ccb/publications/re-evaluating-the-role-of-bleu-in-mt-research.pdf Re-evaluating the Role of BLEU in Machine Translation Research]" in ''11th Conference of the European Chapter of the Association for Computational Linguistics: EACL 2006'' pp.&nbsp;249–256
* Doddington, G. (2002) "[https://www.nist.gov/speech/tests/mt/doc/ngram-study.pdf Automatic evaluation of machine translation quality using n-gram cooccurrence statistics]" in ''Proceedings of the Human Language Technology Conference (HLT), San Diego, CA'' pp.&nbsp;128–132
* Coughlin, D. (2003) "[http://www.mt-archive.info/MTS-2003-Coughlin.pdf Correlating Automated and Human Assessments of Machine Translation Quality]" in ''MT Summit IX, New Orleans, USA'' pp.&nbsp;23–27
* Denoual, E. and Lepage, Y. (2005) "[http://www.mt-archive.info/IJCNLP-2005-Denoual.pdf BLEU in characters: towards automatic MT evaluation in languages without word delimiters]" in ''Companion Volume to the Proceedings of the Second International Joint Conference on Natural Language Processing'' pp.&nbsp;81–86
* Lee, A. and Przybocki, M. (2005) NIST 2005 machine translation evaluation official results
* Lin, C. and Och, F. (2004) "[http://www.mt-archive.info/ACL-2004-Lin.pdf Automatic Evaluation of Machine Translation Quality Using Longest Common Subsequence and Skip-Bigram Statistics]" in ''Proceedings of the 42nd Annual Meeting of the Association of Computational Linguistics''.
* Madnani, N. (2011). "[http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=6061334&tag=1 iBLEU: Interactively Scoring and Debugging Statistical Machine Translation Systems]" in "Proceedings of the Fifth IEEE International Conference on Semantic Computing (Demos), Palo Alto, CA" pp.&nbsp;213–214
{{refend}}

== Ligações externas ==

* [https://www.coursera.org/lecture/machinetranslation/bleu-Bv81F BLEU - Bilingual Evaluation Understudy palestra do curso de Tradução Automática do Instituto de Tecnologia de Karlsruhe], Coursera
{{Navbox
| nome     = Computação
| estado   = {{{estado|autocollapse}}}
| título   = Tópicos sobre [[computação]]
| grupo1   = [[História da computação]]
| lista1   = * [[Algoritmo]]s 
* [[Teoria da computação]] 
* [[Autômato]]s 
* [[Computador quântico|Computação quântica]] 
* [[Multimédia|Multimídia]] 
* [[Nanotecnologia]] 
* [[Bioinformática]]
| grupo2   = [[Hardware]]
| lista2   = * [[Microcontrolador]] 
* [[Microprocessador]] 
* [[Disco rígido|Disco Rígido]] 
* [[Memória (computador)|Memória]] 
* [[Modem]] 
* [[Placa-mãe]] 
* [[Placa de rede]] 
* [[Placa de som|Placa de Som]] 
* [[Placa de vídeo|Placa de Vídeo]] 
* [[Placa sintonizadora de TV]] 
* [[Rato (informática)|Mouse]] 
* [[Teclado (informática)|Teclado]] 
* [[Impressora]] 
* [[Digitalizador]]
| grupo3   = [[Software]]
| lista3   = * [[Programação de computadores]] 
* [[Utilitário]]s 
* [[Sistema operativo|Sistemas Operacionais]] 
* [[Operação bit a bit]]
| grupo4   = [[Internet]]
| lista4   = * [[World Wide Web]]
* [[E-mail]]
* [[File Transfer Protocol|FTP]]
* [[Internet Relay Chat|IRC]]
* [[P2P]]
| grupo5   = [[Cientista]]s
| lista5   = * [[Alan Kay]]
* [[Alan Turing]]
* [[Ada Lovelace]]
* [[Charles Babbage]]
* [[Donald Knuth|Donald E. Knuth]]
* [[Douglas Engelbart]]
* [[Edsger Dijkstra|Edsger W. Dijkstra]]
* [[Eric Steven Raymond|Eric S. Raymond]]
* [[John von Neumann]]
* [[Larry Wall]]
* [[Marvin Minsky]]
* [[Noam Chomsky|Noam Chomski]]
* [[Richard Matthew Stallman|Richard M. Stallman]]
| grupo6   = [[Terminologia]]
| lista6   = * [[Lista de termos de computação|Termos de computação]]
* [[Lista de etimologias de termos usados em computação|Etimologias de termos usados em computação]]
| classe-lista = hlist
}}{{Portal3|Matemática|Tecnologias de informação|}}
[[Categoria:Aprendizagem de máquina]]
[[Categoria:Tecnologia da informação]]
[[Categoria:Ciência da computação]]
[[Categoria:Algoritmos]]
[[Categoria:Acrónimos de informática]]