인공지능을 위한 선형대수(주재걸 교수님) 선형결합

Check

- Linear combination이란?

- Span이란?

- Span의 기하학적 의미는?

- 벡터 방정식에서 벡터의 수와 벡터의 dimension에 따른 해의 개수는? Span과 연관지어 설명할 수 있는가?

- 행렬 곱을 보는 3가지 관점은?

- Outer product로 행렬 곱을 분해할 수 있는가?

선형 결합의 개념. 우리가 행렬 곱으로 표현했었던 linear system을 저렇게 벡터 방정식으로 바꿀 수 있다. 좌항은 선형 결합으로 표현된다.

 

Span의 개념과 기하학적인 의미.

 

벡터 3개의 합을 그림으로 나타내면 위와 같다. 3개 백터의 span은 3차원 공간을 다 커버할 수 있다. 하지만 2개 이하의 벡터로는 평면이나, 직선밖에 커버하지 못한다.

 

아까 봤던 벡터 방정식을 다시 살펴보자. 지금은 벡터의 dimension이 3이고(그럼 당연히 b의 dimension도 3이다) 주어진 벡터 개수도 3개이므로, 해가 존재할 것이다. 하지만 벡터를 2개만 줬다면, 그것들의 선형 결합은 평면이기 때문에, 해가 없을 확률이 높다.

 

행렬 곱을 보는 관점 1 : 행렬 곱의 결과는 각각 column 벡터의 선형 결합의 결과로 해석할 수 있다.

 

행렬 곱을 보는 관점 2 : 1번 관점에서 양 변에 transpose를 취하면 이렇게 된다. Row 벡터의 선형 결합으로 표현할 수 있다.

 

왼쪽의 행렬이 여러 행일 때도 마찬가지이다.

 

행렬 곱을 보는 관점 3 : rank1 벡터간의 외적으로 행렬 곱을 표현할 수 있다.

 

하나의 행렬을 여러 벡터로 분해할 수 있다. Word2vec이나 style transfer의 gram matrix에서도 많이 사용되는 개념이라고 한다. 여기서 보면 행렬의 원소 수는 5000개이다. 이것을 10개의 외적으로 표현하려고 한다면 1500개의 숫자로 5000개의 숫자를 표현하게 되는 것이므로 정확하지는 않을 수 있지만, 근사하게끔 한다면 유용하게 사용할 수 있다.