Modelo vetorial em sistemas de recuperação da informação

Predefinição:Sem fontes Predefinição:Reciclagem Predefinição:Revisão O Modelo Vetorial em Sistemas de Recuperação da Informação, proposto inicialmente por Salton, reconhece que o uso de pesos binários (como feito no modelo Booleano) é muito limitado e propõe um arcabouço onde o casamento parcial entre uma consulta e um documento da coleção é possível.

O modelo de espaço vetorial, ou simplesmente modelo vetorial, representa documentos e consultas como vetores de termos:

$d_j=(w_{1,j},w_{2,j},\dots ,w_{n,j})$

$q=(w_{1,q},w_{2,q},\dots ,w_{n,q})$

Termos são ocorrências únicas nos documentos. A relevância dos termos é destacada assinalando pesos não binários aos termos de indexação dos documentos e consultas. Esses pesos associados aos termos são usados para calcular o grau de similaridade entre cada documento de uma coleção e a consulta de usuário. Dessa forma, o modelo vetorial leva em consideração documentos que casam com a consulta de forma parcial. Como resultado, o conjunto de respostas ordenadas é muito mais preciso do que o conjunto de respostas geradas pelo modelo booleano. Para determinar se um documento está próximo de uma consulta, compara-se o vetor do documento com o vetor da consulta. Ao invés de calcular o ângulo, calcula-se o cosseno, definido pela fórmula [Salton (1988)]:

$\cos \theta =\frac{𝐝\cdot 𝐪}{\Vert 𝐝\Vert \Vert 𝐪\Vert }$

em que $𝐝\cdot 𝐪$ é o Produto escalar (intersecção) dos vetores do documento d e da consulta q, $\Vert 𝐝\Vert$ é a norma do vetor d, e $\Vert 𝐪\Vert$ é a norma do vetor q. A norma de um vetor é calculada como:

$\Vert 𝐪\Vert =\sqrt{\sum _{i=1}^n{q}_i^2}$

Usando o cosseno, a similaridade entre um documento d_j e uma consulta q pode ser calculada como:

$\mathrm{c}\mathrm{o}\mathrm{s}(d_j,q)=\frac{{𝐝}_{𝐣}\cdot 𝐪}{\Vert {𝐝}_{𝐣}\Vert \Vert 𝐪\Vert }=\frac{\sum _{i=1}^N{w}_{i,j}{w}_{i,q}}{\sqrt{\sum _{i=1}^N{w}_{i,j}^2}\sqrt{\sum _{i=1}^N{w}_{i,q}^2}}$

Os pesos quantificam a relevância de cada termo para as consultas ($W_{iq}$) e para os documentos ($W_{id}$) no espaço vetorial. Para o cálculo dos pesos $W_{iq}$ e $W_{id}$, utiliza-se uma técnica que faz o balanceamento entre as características do documento, utilizando a frequência de um termo num documento $freq(t,d)$. Se uma coleção possui $N$ documentos e $d{f}_t$ é a quantidade de documentos que possuem o termo $t$, então o inverso da frequência do termo na coleção, ou $id{f}_t$ (inverse document frequency) é dado por:

$id{f}_t=log\frac{N}{d{f}_t}$

Este valor é usado para calcular o peso, utilizando a seguinte fórmula: $W_{id}=freq(t,d)\times id{f}_t$ , ou seja, é o produto da frequência do termo <math>t<\math> no documento <math>d<\math> pelo inverso da frequência do termo na coleção. Assim termos muito comuns terão um idf baixo o que reduz o peso do termo e o torna menos significativo.

As principais vantagens do modelo vetorial são a sua simplicidade, a facilidade que ele provê de se computar similaridades com eficiência e o fato de que o modelo se comporta bem com coleções genéricas.

Entre as limitações do modelo, vale citar que ele considera os termos de um documento como um saco-de-palavras, ou seja, a posição do termo no documento não é levado em consideração. Além disso, a semântica dos termos não é considerada nem questões de sinonímia, ambiguidade. termos compostos, etc.