4.3a 최소 자승 근사법(Least Squares Approximations)

방정식 $Ax$ = $b$의 에러를 $b$ – $Ax$라 할 때, 에러가 0이면 $x$는 방정식의 해가 됩니다. 하지만 에러를 0으로 할 수 없다면, 방정식은 해를 갖지 못합니다. 이런 경우 해에 가장 가까운 근사해를 찾게 됩니다. 그 과정이 최소 자승 근사법이고 앞서 배운 프로젝션과 연관됩니다. 

 

​

최소 자승 해(Least Squares Solution) $\hat{x}$

먼저 방정식 $Ax$ = $b$을 살펴보겠습니다.
사실 좌변의 $Ax$는 $A$의 열의 선형 결합입니다.

 
따라서 방정식이 해를 가지려면 $b$는 열공간 $C(A)$에 있어야 합니다. 
만약 $b$가 $C(A)$에 속하지 않으면 $Ax$ = $b$는 해가 없습니다.

이런 경우 정확한 해는 아니지만 가장 가까운 근사해를 구하길 원할 수도 있는데, 이것이 바로 최소 자승 해입니다. 

방정식 $Ax$ = $b$의 에러를 $b$ – $Ax$이라고 하면, 에러가 작으면 작을수록 $x$는 해와 가깝게 됩니다. 따라서 에러가 최소가 되는 $x$가 근사해가 되겠습니다.

프로젝션과 $Ax$ = $b$의 최소 자승 해

사실 최소 자승 해는 프로젝션과 관계가 있습니다.
뒤에서 보이겠지만 앞서 프로젝션에서 배운 에러 벡터 $e$ = $b$ – $p$ = $b$ – $A\hat{x}$가 바로 방정식의 최소 에러입니다. 그리고 $\hat{x}$가 최소 자승 해가 되는 것이고요.

 

그러면, 방정식 $Ax$ = $b$의 에러를 $b$ – $Ax$라 하고, 이것이 $x$ = $\hat{x}$일 때 최소가 되는 것을 보이는 것은 어렵지 않습니다.

프로젝션에서 배운 것을 상기해 보면,
$b$는 $C(A)$로의 프로젝션 $p$와 그와 수직인 $e$로 나뉩니다.
즉, $b$ = $p$ + $e$.

그러면 다음 세 벡터의 관계를 알아보겠습니다.
$b$ – $Ax$, $p$ – $Ax$, 그리고 $e$.

먼저, $b$ = $p$ + $e$로부터
$b$ – $Ax$ = $p$ – $Ax$ + $e$.

따라서 이 세 벡터로 삼각형이 만들어집니다.
그리고 $p$ – $Ax$는 여전히 $C(A)$에 속하기 때문에 $e$와 수직 합니다.

 

정리하면 세 벡터는 아래 그림과 같이 직삼각형을 이룹니다.

 
위 직삼각형의 세 변의 길이는 다음 관계를 가집니다.

$||Ax\:–\:b||^{2}$ = $||Ax\:–\:p||^{2}$ + $||e||^{2}$.

여기서 $x$ = $\hat{x}$ (즉, $Ax$ – $p$ = 0)이면 에러 $b$ – $Ax$가 최소가 됩니다.
→ $b$ – $A\hat{x}$ = $e$.

(직선으로의 프로젝션, 부분 공간으로의 프로젝션 참조)

다시 말하면, $\hat{x}$는 $Ax$ = $b$의 최소 자승 해입니다.

 

다음 시간에는 최소 자승 근사법을 어떻게 적용하는지 예제를 통해 알아보겠습니다.