4.2c 부분 공간으로의 프로젝션

이번 포스팅에서는 직선으로의 프로젝션을 확장하여 부분 공간으로의 프로젝션을 배워보겠습니다. 부분 공간이 $a_{x}$ 벡터들로 스팬 된다고 하면, 프로젝션은 $p$ = $\hat{x}_{1}a_{1}$ +… + $\hat{x}_{n}a_{n}$의 형태를 갖게 됩니다.

 

프로젝션 행렬의 특성

부분 공간으로의 프로젝션을 알아보기 전에, 프로젝션 행렬의 특성을 잠시 알아보겠습니다. 벡터 $b$를 벡터 $a$의 직선으로 프로젝션 하는 것을 생각하면 다음 내용들은 이해할 수 있을 것입니다.

프로젝션 행렬에는 다음과 같은 속성이 있습니다.
1. 벡터 $a$가 2배가 되어도 행렬 $P$는 그대로 유지됩니다. 
다시 말해, $a$의 길이가 변해도 프로젝션에는 변화가 없습니다.

2. 행렬 $P$의 제곱 $P^{2}$는 $P$와 같습니다. 
즉, 두 번째 프로젝션은 $p$를 바꾸지 않습니다.

부분 공간으로의 프로젝션

이제 부분 공간으로의 프로젝션을 알아보겠습니다.

프로젝션을 하려는 부분 공간이 $a_{x}$ 벡터들로 스팬 된다고 하겠습니다.
그러면 부분 공간으로의 프로젝션은 직선의 경우와 마찬가지로 벡터 $b$에 가장 가까운 $p$ = $\hat{x}_{1}a_{1}$ +… + $\hat{x}_{n}a_{n}$ 조합을 찾아야 합니다. 

또한 직선의 경우에서 배운 수식들을 이용하기 위해서 $a$ 벡터들을 열로 하는 행렬 $A$를 만들 것입니다. 벡터 $b$가 $R^{m}$에 속한다고 하면, $A$는 $m$ × $n$입니다.

만약, 이때 $n$ = 1이면 바로 직선의 경우이고, $A$는 하나의 열을 가집니다.

 

행렬 $A$를 이용하면,
프로젝션 $p$는 $p$ = $A\hat{x}$로 표현할 수 있습니다.
여기서 $\hat{x}$는 $\hat{x}_{1}$, … , $\hat{x}_{n}$을 성분으로 갖는 벡터입니다.

 

그리고 $b$와 $p$를 연결하면 아래 그림과 같이 부분 공간에 수직인 에러 벡터 $e$ (= $b$ – $A\hat{x}$)를 그릴 수 있습니다. 

그러면 $e$가 부분 공간의 모든 $a_{i}$ 벡터와 수직임을 이용하여 다음 식을 만들 수 있습니다.

$\begin{pmatrix} \begin{array}{c} - a_{1}^{T} - \\ \vdots \\ - a_{n}^{T} - \end{array} \end{pmatrix}$$\begin{pmatrix} \begin{array}{r} b - A\hat{x} \end{array} \end{pmatrix}$ = 0

맨 앞에 행렬은 $A^{T}$이므로 위 식은 $A^{T}(b\:- A\hat{x})$ = 0.

 

즉, $A^{T}A\hat{x}$= $A^{T}b$.
→ $\hat{x}$ = $(A^{T}A)^{-1}A^{T}b$.
→ $p$ = $A\hat{x}$ = $A(A^{T}A)^{-1}A^{T}b$.

그리고 프로젝션 행렬 $P$($m$ × $m$)는
$P$ = $A(A^{T}A)^{-1}A^{T}$.

예제: 부분 공간으로의 프로젝션

문제의 부분 공간은 다음 행렬 $A$의 열 벡터로 스팬 됩니다.

$A$ = $\begin{pmatrix} \begin{array}{rr} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{array} \end{pmatrix}$.

여기에 $b$ = $\begin{pmatrix} \begin{array}{r} 6 \\ 0 \\ 0 \end{array} \end{pmatrix}$을 프로젝션 하여,

$\hat{x}$, $p$, $P$를 구하겠습니다.

$A^{T}A$ = $\begin{pmatrix} \begin{array}{rr} 3 & 3 \\ 3 & 5 \end{array} \end{pmatrix}$,

$A^{T}b$ = $\begin{pmatrix} \begin{array}{r} 6 \\ 0 \end{array} \end{pmatrix}$.

이를 $A^{T}A\hat{x}$ = $A^{T}b$에 대입하면,

$\begin{pmatrix} \begin{array}{rr} 3 & 3 \\ 3 & 5 \end{array} \end{pmatrix}$$\begin{pmatrix} \begin{array}{r} \hat{x}_{1} \\ \hat{x}_{2} \end{array} \end{pmatrix}$ = $\begin{pmatrix} \begin{array}{r} 6 \\ 0 \end{array} \end{pmatrix}$.

이 방정식을 풀면,

$\hat{x}$ = $\begin{pmatrix} \begin{array}{r} 5 \\ -3 \end{array} \end{pmatrix}$.

$p$ = 5$\begin{pmatrix} \begin{array}{r} 1 \\ 1 \\ 1 \end{array} \end{pmatrix}$ – 3$\begin{pmatrix} \begin{array}{r} 0 \\ 1 \\ 2 \end{array} \end{pmatrix}$ = $\begin{pmatrix} \begin{array}{r} 5 \\ 2 \\ -1 \end{array} \end{pmatrix}$.

미지막으로 행렬 $P$는

$(A^{T}A)^{-1}$ = $\frac{1}{6}$$\begin{pmatrix} \begin{array}{rr} 5 & -3 \\ -3 & 3 \end{array} \end{pmatrix}$ 

을 이용해서 풀면,

$P$ = $\frac{1}{6}$$\begin{pmatrix} \begin{array}{rrr} 5 & 2 & -1 \\ 2 & 2 & 2 \\ -1 & 2 & 5 \end{array} \end{pmatrix}$.