Interpretação geométrica para o método dos mínimos quadráticos

Na matemática, sobretudo na análise numérica e álgebra linear, O método dos mínimos quadrados é um estratégia para lidar com sistemas lineares impossíveis Ax=b. O método adota a solução x que minimiza a soma do quadrado dos erros, chamado resíduo, isto é a norma L² de Ax-b.

O objetivo deste artigo é apresentar uma interpretação geométrica do método.

Falando em modo algébrico, estamos procurando um x que se aproxime ao máximo de y, em $Ax=y$.

Dada A, uma matriz com os coeficientes de equações lineares, com tamanho $m*n$, uma observação importante que podemos fazer é que independente do vetor x em questão, $Ax$ pertence ao espaço de colunas de A, de tamanho $R^n$. Pelo método dos mínimos quadráticos devemos procurar x que torna $Ax$ o ponto mais próximo de y no espaço das colunas de $A$. É claro que, se y está no espaço das Colunas da matriz $A$, então y é da forma $Ax$ para algum x e esse x é a solução dos mínimos quadráticos.

Interpretação Visual

Avaliando a imagem acima podemos ver que Ŷ$=pro{j}_{ColunasA}*y$.
Como y está no espaço de colunas de $A$, a equação $Ax=y$ é possível se existe um X em $R^m$ tal que $AX=y$.
Como Ŷ é o ponto mais próximo de y, no espaço das colunas de $A$, um vetor X é uma solução de mínimos quadráticos para $Ax=y$ se e somente se X for solução de $A*X=$Ŷ.

Dito isto, sempre haverá uma solução para o sistema, pois da álgebra, sabemos que se há um subespaço w do $R^n$, então cada y em $R^n$ pode ser escrito de maneira única na forma $y=$ŷ$+z$, onde ŷ é a projeção de y sobre W e denotado por $pro{j}_w*y$.

A projeção de um vetor tem a propriedade de que se a subtração $y-$Ŷ for ortogonal ao espaço Colunas de A, logo y-Ax é ortogonal a cada coluna de A. Como cada $a_j^t$ é uma linha de $A^t$, ortogonais entre si temos que: $A^t*A*x=A^t*y$.

Desta forma, o conjunto de soluções de mínimos quadráticos de $Ax=y$ é igual ao conjunto de soluções da equação $A^t*A*x=A^t*y.$

Referências

• Análise Numérica, Richard L. Burden e J. Douglas Faires
• Klein, Ivandro; Matsuoka, Marcelo Tomio; de Souza, Sergio Florêncio; Veronez, Mauricio Roberto. Ajustamento de Observações: Uma Interpretação Geométrica para o Método dos Mínimos Quadrados. Boletim de Ciências Geodésicas (Online), v. 17, n. 2, p. 272-294, 2011. http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1982-21702011000200007&nrm=iso&tlng=pt