인공지능을 위한 선형대수(주재걸 교수님) 부분공간의 기저와 차원, 선형변환

Check

- Subspace란?

- Span은 subspace인가?

- Basis란?

- Subspace의 dimension의 정의는?

- Matrix의 column space란?

- Matrix의 rank란?

- ML에서 rank가 작다의 의미는?

- Linear Transformation이란?

- f(x) = 3x + 2는 선형 변환인가?

- 어떤 벡터의 선형 변한은 행렬 곱으로 표현할 수 있다. 증명은?

- Standard basis란?

- 선형 변환 T(x)를 Ax로 나타낼 때, A는?

Subspace의 개념.

 

 우리가 흔히 dimension 하고 그냥 썼지만 사실 정의는 위와 같다. 우리가 3차원 공간이라고 부르는 이유는 이 공간의 basis의 크기가 3이기 때문이다. 즉 3개의 선형 독립인 벡터들의 span이 우리가 사는 공간을 전부 커버하고, 그 벡터들의 선형 결합으로 표현하지 못하는 벡터는 없다. 벡터를 4개 뽑으면 그 중 하나는 다른 세 벡터의 선형 결합으로 무조건 표현된다. 모두 같은 의미이다.

 

Column space와 rank의 정의이다. 머신러닝에서 데이터셋의 feature 수에 비해 rank가 작으면 feature들이 선형 종속이라는 이야기이다. 위의 matrix를 보면 몸무게가 키 x 0.2로 나타나는데 이것은 거의 의미가 없는 중복된 feature이다. 따라서 모델의 성능을 떨어뜨리게 된다. 그런데 이 부분을 regularization과 연관 지으시면서 설명을 해주셨는데, 그 부분은 coefficient를 작게 잡아야 하는 이유인데 feature 수와 어떤 관련이 있는지 잘 이해가 가지 않았다.

 

선형 변환의 개념이다. 어떤 변환, mapping, 혹은 function이 선형이라는 것은 위의 조건을 만족한다는 것이다. 위에서 47과 35로 값이 다르므로 3x + 2는 선형이 아니다. 나중에 다시 그려보자.

 

위의 2차원에서 1차원으로의 변환은 선형이다. Ax 라는 변환은 상수 term이 존재하지 않기 때문이다.

 

벡터의 선형 변환은 행렬 곱으로 언제나 표현될 수 있다.