인공지능을 위한 선형대수(주재걸 교수님) Orthogonal Projection

Check

- Orthogonal set, orthogonal basis, orthonormal basis, orthogonal projection이란?

- Orthogonal projection은 linear transformation인가? 이유는?

- 어떤 벡터로의 orthogonal projection은 어떻게 하는가?

- 평면으로는?

- Orthonormal basis에 관한 식으로 orthogonal projection을 나타낼 수 있는가?

- Normal equation으로도 유도할 수 있는가?

- 머신러닝에서 데이터의 feature간의 각도는 무엇을 의미하는가? 왜 orthogonal한 feature가 좋은가?

- Feature 벡터간의 각도의 관점에서 L2 regularization의 역할은?

Orthogonal projection은 결국 행렬 곱으로 표현되므로 linear transformation이다.

 

Basis로 부터 orthonormal basis를 만들기 위해 gram-schmidt process라는 방법을 사용한다. 이 방법으로 행렬을 분해할 수 있는데, 그것을 QR factorization이라고 한다.

 

이런 식으로 어떤 basis를 추가할 때 기존의 span과 orthogonal한 벡터를 찾을 수 있다. 이걸 반복하면 basis를 orthogonal basis로 바꿀 수 있을 것이다.

 

Line으로의 orthogonal projection은 이렇게 구할 수 있다.

 

평면의 orthogonal basis에 각각 orthogonal projection을 한 뒤 그 벡터들을 합치면 해당 평면의 orthogonal projection이 된다(삼수선의 정리).

 

Orthonormal basis를 이용해서 orthogonal projection을 행렬 곱으로 나타낼 수 있다.

 

Normal equation을 이용해도 유도가 가능하다.

 

머신러닝의 관점에서 데이터의 각 column 벡터들간의 각도는 성능에 영향을 미친다.

 

L2 regularization은 데이터의 feature간의 correlation을 떨어뜨리기 위해 각 dimension에 상수 값을 더하는 것으로 생각할 수 있다. 너무 신기하다.