본문 바로가기

수업 정리(개인용)

 (55)
인공지능을 위한 선형대수(주재걸 교수님) 선형변환 with Neural Network Check - 선형 변환의 기하학적 의미를 설명할 수 있는가? - Affine 변환이란? 뉴럴넷에서 affine 변환을 선형 변환으로 바꾸는 방법은? - 뉴럴넷에서 행렬 곱을 선형 결합의 관점에서 바라볼 수 있는가? 선형 변환의 기하학적 의미는 위와 같다. 뉴럴넷에서는 bias가 있기 때문에 선형 변환이 아니게 된다. 이것을 affine 변환이라고 한다. 위와 같이 bias trick을 사용해서 선형 변환으로 만들 수 있다. 이렇게 뉴럴넷에서의 행렬 곱을 선형 결합의 관점에서 바라볼 수 있다.
확률 및 통계(한양대 이상화교수님) lec3 : 확률 변수의 정의 Check - Random variable의 정의는? - P(X=x)를 이벤트의 관점으로 구할 수 있는가? - CDF의 정의는? - PMF의 정의는? PMF를 이용한 discrete에서의 CDF의 정의는? - 델타 함수란? 어디에 사용되는가? 이런 확률 변수를 정의함으로써 p의 input이 A라는 event가 아닌 x라는 real number가 되어서 함수의 개념으로 접근할 수 있게 되었다. 이런 식으로 확률 변수를 이용해 p의 함수 값을 계산할 수 있다. 관습적으로 대문자는 확률 변수의 이름, 소문자는 특정한 값으로 사용한다. Random variable X와 실수 x에 대한 distribution functions를 살펴보자. 그 중 CDF가 있는데, 정의는 위와 같다. 말 그대로 x까지의 누적된 확..
인공지능을 위한 선형대수(주재걸 교수님) 부분공간의 기저와 차원, 선형변환 Check - Subspace란? - Span은 subspace인가? - Basis란? - Subspace의 dimension의 정의는? - Matrix의 column space란? - Matrix의 rank란? - ML에서 rank가 작다의 의미는? - Linear Transformation이란? - f(x) = 3x + 2는 선형 변환인가? - 어떤 벡터의 선형 변한은 행렬 곱으로 표현할 수 있다. 증명은? - Standard basis란? - 선형 변환 T(x)를 Ax로 나타낼 때, A는? Subspace의 개념. 우리가 흔히 dimension 하고 그냥 썼지만 사실 정의는 위와 같다. 우리가 3차원 공간이라고 부르는 이유는 이 공간의 basis의 크기가 3이기 때문이다. 즉 3개의 선형 독립인 벡..
인공지능을 위한 선형대수(주재걸 교수님) 선형독립과 선형종속 Check - Linear independence란? - Ax=b에서 A의 column이 row보다 많으면, 해의 개수는? 선형 독립의 개념을 이용, 기하학적으로 설명할 수 있는가? - 반대로 A의 column이 row보다 적으면 해의 개수는? - Homogeneous equation에서 non-zero solution이 있다면 해의 개수는? 기하학적으로, 수식으로, 선형독립과 종속의 개념을 이용하여 설명할 수 있는가? - Homogeneous equation에서 non-zero solution이 있다면, 벡터들은 선형 종속인가? 이유는? 선형 독립 : H = {a1,a2,...,an}의 각 원소가 다른 원소의 선형 결합으로 나타내어지지 않을 때, H는 선형 독립이다. Case by case라면, 해의 ..
CS231n Lecture 10 : Recurrent Neural Networks 지난 시간에 배웠던 네트워크들을 간단하게 리뷰하고 넘어간다. VGG나 GoogLeNet은 2014년 Batch Normalization이 나오기 전의 모델이다. 이런 깊은 망을 학습시키는 것은 굉장히 어려웠고, VGG는 첫 11 layer들을 먼저 학습시킨 뒤 쌓아가는 식으로 학습했다. GoogLeNet의 auxiliary classifier도 실제로 classification을 위해 붙인게 아니고 gradient vanishing 때문이었다고 한다. ResNet에서는 L2 regularization을 적용해서 weight 값들을 0으로 가게 유도했다고 한다. 첫 아이디어 자체가 이미 잘되는 shallow한 모델 뒤에 identity mapping layer를 쌓으면 적어도 성능이 떨어지지는 않아야 한다..
인공지능을 위한 선형대수(주재걸 교수님) 선형결합 Check - Linear combination이란? - Span이란? - Span의 기하학적 의미는? - 벡터 방정식에서 벡터의 수와 벡터의 dimension에 따른 해의 개수는? Span과 연관지어 설명할 수 있는가? - 행렬 곱을 보는 3가지 관점은? - Outer product로 행렬 곱을 분해할 수 있는가? 선형 결합의 개념. 우리가 행렬 곱으로 표현했었던 linear system을 저렇게 벡터 방정식으로 바꿀 수 있다. 좌항은 선형 결합으로 표현된다. Span의 개념과 기하학적인 의미. 벡터 3개의 합을 그림으로 나타내면 위와 같다. 3개 백터의 span은 3차원 공간을 다 커버할 수 있다. 하지만 2개 이하의 벡터로는 평면이나, 직선밖에 커버하지 못한다. 아까 봤던 벡터 방정식을 다시 살펴보..
확률 및 통계(한양대 이상화교수님) lec2 : 독립사건과 확률 Check - 순열이란? - 그룹 순열, 원 순열이란? - 조합이란? - Binomial Theorem이란? - 이항 분포란? - 멱급수란? - 멱급수를 구하는 2가지 방법은? - Stirlings formula란? - Reliability란? - 직렬, 병렬일 때 reliability는? - 직렬, 병렬 혼합일 때? Combinatorial Analysis에서는 순열, 조합처럼 뽑고 나열하는 경우의 수에 관한 이야기를 할 것이다. 순열과 중복 순열의 개념을 다시 살펴본다. 원순열과 변형 사례. 우선 원순열로 생각하고 계산한 뒤, 다르게 나오는 경우를 찾아 곱해주면 된다. 가령 저 직사각형에서 시계방향으로 4번 회전하면 각각 다른 경우이다. 조합의 개념이다. n+m개 중 r개를 뽑는 것은 n개 중 k개를..
CS231n Lecture 9 : CNN Architectures ConvNet을 실제로 적용해서 거의 처음 좋은 결과를 얻었던 LeCun의 LeNet이다. AlexNet의 첫 layer의 output size와 parameter 수는 몇 개일까? 다시 한번 풀어보자. AlexNet이 사용한 방법들. 추가적으로, 모델을 vram에 올리기 위해 반으로 쪼갰다. Feature map이 절반으로 쪼개져서, 같은 gpu에 없는 feature map은 보지 못한 채로 연산된다. 마지막에 fcn을 거치면서 서로 다른 gpu간의 정보 공유가 이루어진다. ZFNet이 AlexNet의 hyperparameter를 만져서 다음 해에 imageNet에서 우승했다. 2014년에 등장한 VGG는 backbone 모델로 많이 쓰인다. 3x3의 작은 필터를 깊게 쌓았다. 왜 그랬을까? 3x3 필..

티스토리툴바