인공지능을 위한 선형대수(주재걸 교수님) Intro, 선형대수의 기초, 선형방정식과 선형시스템

Check

- Inner product와 outer product란?

- A,B가 행렬일 때, AB=BA인가?

- 행렬 곱의 4가지 성질은?

- Identity matrix는 무엇인가?

- Inverse matrix는 무엇인가?

- 역행렬이 존재하는 조건은?

- 역행렬을 이용, Ax=b를 푸는 방법은?

- 역행렬이 있다면 해가 유일한가? 이유는?

- Determinant란?

- 역행렬이 없을 때 해의 개수는?

- A가 m x n 행렬일 때, m<n일 때, m>n일 때 해의 개수는 어떻게 되는가?

- 머신러닝에서는 어떻게 해결하는가?

 

 

자주 쓰이는 표현들을 한번 정리해 주셨다.

 

행렬 곱의 다양한 성질들이다.

 

행렬을 이용한 linear equation의 표현이다.

 

Linear system은 linear equation의 집합인데, 연립 방정식을 생각하면 된다. Regression이라는 task도 위와 같이 linear system을 푸는 것으로 생각할 수 있다. 다만, a1은 A 행렬의 1th row를 의미할 것인데, 왜 transpose를 취하는 지 이해가 가지 않았다. 아마도 a1을 열 벡터로 변환한 후, x와 a1간의 벡터 내적을 표현하려는 것 같다.

 

Identity Matrix의 개념이다. 항등 행렬이라고 부르는 이유는 행렬에서의 항등원이기 때문이다. Scalar에서의 1을 생각하면 되는데, 어떤 a에 항등원을 곱하면 a가 그대로 나온다.

 

A가 square matrix라면 A의 inverse matrix를 위와 같이 정의할 수 있다. A의 앞에 곱해지든, A의 뒤에 곱해지든 다 indentity matrix가 나오게 된다. 직사각행렬에서는 inverse matrix가 정의되지 않는다.

 

역행렬을 이용하면 이렇게 linear system의 해를 구할 수 있다. Coefficients matrix의 역행렬이 존재한다면, 위의 증명에 따라 유일해가 존재하게 된다.

 

2x2 행렬에서 역행렬의 존재 여부를 위와 같이 확인할 수 있다. 역행렬이 존재하지 않는다면 해가 무수히 많거나 존재하지 않게 된다.

 

머신러닝에서는 해가 무수히 많을 경우, regularization을 이용해서 해를 선별한다. 해가 없을 경우, 해를 근사하여 해결한다.