본문 바로가기

수업 정리(개인용)/선형대수(주재걸 교수님)

 (16)
인공지능을 위한 선형대수(주재걸 교수님) 정규방정식 Check - Normal equation을 미분을 통해 derivation 할 수 있는가? - (A^T)A가 invertible하다면 역행렬을 이용해 한 번에 풀 수 있고 해도 유일하다. 그렇지 않다면 해는 무수히 많게 된다. ML에서 실제로는 invertible한 경우가 많다. 이유는 아래와 같다. 데이터가 쌓일 수록 하나의 feature를 다른 feature들의 선형 결합으로 표현하기는 어려울 것이다. 따라서 해가 유일할 것이다. 물론 여기서 말하는 해는 근사해이다. 해는 존재하지 않을 확률이 높을 것이다. Loss가 0인 경우는 볼 수가 없겠다.
인공지능을 위한 선형대수(주재걸 교수님) Least Squares Problem 소개, Least Squares와 그 기하학적 의미 Check - Over-determined system이란? 해가 있는가? - 내적을 행렬 곱으로 표현할 수 있는가? - 내적의 4가지 성질 - 내적은 선형 변환인가? 이유는? - Norm, unit vector, distance of vector, 벡터 간 각도 구하기, orthogonal vector를 이해하였는가? - Least Square의 기하학적 의미는? - Normal equation을 유도할 수 있는가? 방정식의 개수가 미지수의 개수보다 많으면 over-determined linear system이라고 하고, 해가 없을 확률이 높다. 주어진 벡터의 개수가 적어서, 그 벡터들의 span이 주어진 벡터의 dimension을 커버하지 못하기 때문이다. 여기서 근사해를 찾기 위해 least squ..
인공지능을 위한 선형대수(주재걸 교수님) 전사함수와 일대일함수 Check - ONTO란? - One to One이란? 선형 독립과는 무슨 관계인가? - i차원에서 j차원으로의 변환에서, 절대로 onto나 one to one이 아닌 조건은? 증명할 수 있는가? - 머신러닝에서의 의미는? 머신 러닝에서 GAN이나 Decoder를 ONTO라고 부를 수 있다. GAN에서 latent vector와 output image와의 mapping은 ONTO일 수가 없다. Latent vector를 변환한 것의 span은 절대로 image의 subspace를 전부 표현할 수 없다. 마치 평면으로 공간을 커버할 수 없는 것과 같다. 가령 얼굴을 생성한다고 할 때, 3차원의 공간에서 이미지가 있을 법한 평면을 잘 골라내는 것을 GAN을 학습하는 것에 비유할 수 있다. 여기서 선형 변환은..
인공지능을 위한 선형대수(주재걸 교수님) 선형변환 with Neural Network Check - 선형 변환의 기하학적 의미를 설명할 수 있는가? - Affine 변환이란? 뉴럴넷에서 affine 변환을 선형 변환으로 바꾸는 방법은? - 뉴럴넷에서 행렬 곱을 선형 결합의 관점에서 바라볼 수 있는가? 선형 변환의 기하학적 의미는 위와 같다. 뉴럴넷에서는 bias가 있기 때문에 선형 변환이 아니게 된다. 이것을 affine 변환이라고 한다. 위와 같이 bias trick을 사용해서 선형 변환으로 만들 수 있다. 이렇게 뉴럴넷에서의 행렬 곱을 선형 결합의 관점에서 바라볼 수 있다.
인공지능을 위한 선형대수(주재걸 교수님) 부분공간의 기저와 차원, 선형변환 Check - Subspace란? - Span은 subspace인가? - Basis란? - Subspace의 dimension의 정의는? - Matrix의 column space란? - Matrix의 rank란? - ML에서 rank가 작다의 의미는? - Linear Transformation이란? - f(x) = 3x + 2는 선형 변환인가? - 어떤 벡터의 선형 변한은 행렬 곱으로 표현할 수 있다. 증명은? - Standard basis란? - 선형 변환 T(x)를 Ax로 나타낼 때, A는? Subspace의 개념. 우리가 흔히 dimension 하고 그냥 썼지만 사실 정의는 위와 같다. 우리가 3차원 공간이라고 부르는 이유는 이 공간의 basis의 크기가 3이기 때문이다. 즉 3개의 선형 독립인 벡..
인공지능을 위한 선형대수(주재걸 교수님) 선형독립과 선형종속 Check - Linear independence란? - Ax=b에서 A의 column이 row보다 많으면, 해의 개수는? 선형 독립의 개념을 이용, 기하학적으로 설명할 수 있는가? - 반대로 A의 column이 row보다 적으면 해의 개수는? - Homogeneous equation에서 non-zero solution이 있다면 해의 개수는? 기하학적으로, 수식으로, 선형독립과 종속의 개념을 이용하여 설명할 수 있는가? - Homogeneous equation에서 non-zero solution이 있다면, 벡터들은 선형 종속인가? 이유는? 선형 독립 : H = {a1,a2,...,an}의 각 원소가 다른 원소의 선형 결합으로 나타내어지지 않을 때, H는 선형 독립이다. Case by case라면, 해의 ..
인공지능을 위한 선형대수(주재걸 교수님) 선형결합 Check - Linear combination이란? - Span이란? - Span의 기하학적 의미는? - 벡터 방정식에서 벡터의 수와 벡터의 dimension에 따른 해의 개수는? Span과 연관지어 설명할 수 있는가? - 행렬 곱을 보는 3가지 관점은? - Outer product로 행렬 곱을 분해할 수 있는가? 선형 결합의 개념. 우리가 행렬 곱으로 표현했었던 linear system을 저렇게 벡터 방정식으로 바꿀 수 있다. 좌항은 선형 결합으로 표현된다. Span의 개념과 기하학적인 의미. 벡터 3개의 합을 그림으로 나타내면 위와 같다. 3개 백터의 span은 3차원 공간을 다 커버할 수 있다. 하지만 2개 이하의 벡터로는 평면이나, 직선밖에 커버하지 못한다. 아까 봤던 벡터 방정식을 다시 살펴보..
인공지능을 위한 선형대수(주재걸 교수님) Intro, 선형대수의 기초, 선형방정식과 선형시스템 Check - Inner product와 outer product란? - A,B가 행렬일 때, AB=BA인가? - 행렬 곱의 4가지 성질은? - Identity matrix는 무엇인가? - Inverse matrix는 무엇인가? - 역행렬이 존재하는 조건은? - 역행렬을 이용, Ax=b를 푸는 방법은? - 역행렬이 있다면 해가 유일한가? 이유는? - Determinant란? - 역행렬이 없을 때 해의 개수는? - A가 m x n 행렬일 때, mn일 때 해의 개수는 어떻게 되는가? - 머신러닝에서는 어떻게 해결하는가? 자주 쓰이는 표현들을 한번 정리해 주셨다. 행렬 곱의 다양한 성질들이다. 행렬을 이용한 linear equation의 표현이다. Linear system은 linear equation의 집합..

티스토리툴바