본문 바로가기

전체 글

 (75)
인공지능을 위한 선형대수(주재걸 교수님) 정규방정식 Check - Normal equation을 미분을 통해 derivation 할 수 있는가? - (A^T)A가 invertible하다면 역행렬을 이용해 한 번에 풀 수 있고 해도 유일하다. 그렇지 않다면 해는 무수히 많게 된다. ML에서 실제로는 invertible한 경우가 많다. 이유는 아래와 같다. 데이터가 쌓일 수록 하나의 feature를 다른 feature들의 선형 결합으로 표현하기는 어려울 것이다. 따라서 해가 유일할 것이다. 물론 여기서 말하는 해는 근사해이다. 해는 존재하지 않을 확률이 높을 것이다. Loss가 0인 경우는 볼 수가 없겠다.
CS231n Lecture 12 : Visualizing and Understanding CNN 내부에서 무슨 일이 일어나고 있는가? Explainability는 ML에서 중요한 주제 중 하나이다. 단순히 AI를 믿고 안믿고를 떠나서, 모델을 잘 이해해야 개선하는 것도 가능할 것이다. 이번 장에서는 CNN 내부의 시각화와 이해에 대해 다룬다. Explainability와 interpretability의 의미 차이에 대해 조사를 해봤는데, article마다 다르게 정의하고 있으므로 정확한 차이를 알 수는 없었다. 다만 딥러닝 내부의 블랙박스를 다루는 도메인은 explainable ML이라고 부르는 것 같다. 사실 CNN의 첫 번째 feature map을 시각화 하는 것은 쉬운데, 가령 input이 rgb 이미지라서 depth가 3이라면 각 filter의 depth도 3이므로 그냥 띄우면 된다...
확률 및 통계(한양대 이상화교수님) lec4 : 이산확률변수와 연속확률변수 Check - Discrete RV는 무한할 수 있는가? 그에 mapping 되는 event들은 discrete 해야 하는가? - Continuous일 때는 어떤가? - Continuous RV에서 P(X=x)가 정의 되는가? 안된다면 대안은? - Pdf의 정의는? cdf와의 관계식은? - Pdf의 함수값은 1보다 클 수 있는가? - Uniform distribution이란? 가정되는 예시는? - Analog에서 digital로의 변환 과정은? Uniform distribution이 언제 가정되는가? Event는 continuous 해도 그와 mapping 되는 RV가 discrete 하다면 discrete이다(discrete이면 discrete이라는 당연한 이야기이다). RV는 finite하거나 cou..
인공지능을 위한 선형대수(주재걸 교수님) Least Squares Problem 소개, Least Squares와 그 기하학적 의미 Check - Over-determined system이란? 해가 있는가? - 내적을 행렬 곱으로 표현할 수 있는가? - 내적의 4가지 성질 - 내적은 선형 변환인가? 이유는? - Norm, unit vector, distance of vector, 벡터 간 각도 구하기, orthogonal vector를 이해하였는가? - Least Square의 기하학적 의미는? - Normal equation을 유도할 수 있는가? 방정식의 개수가 미지수의 개수보다 많으면 over-determined linear system이라고 하고, 해가 없을 확률이 높다. 주어진 벡터의 개수가 적어서, 그 벡터들의 span이 주어진 벡터의 dimension을 커버하지 못하기 때문이다. 여기서 근사해를 찾기 위해 least squ..
CS231n Lecture 11 : Detection and Segmentation Classification 외에 이런 task에 대해 배워 볼 것이다. Semantic Segmentation은 pixel-wise classification이다. Classification + Localization은 하나의 object에 대해 수행하는 detection이다. Object detection은 거기서 object가 여러 개 나올 수 있다는 점만 다르다. Instance Segmentation은 Semantic Segmentation에서, 같은 class도 instance 별로 구분할 수 있다. 우측 하단의 그림을 보면 semantic segmentation에서는 각 pixel이 cow인지만 관심이 있고, cow class의 instance 별로 구분을 짓지는 않고 있다. 이 문제를 어떻게..
CAM(Class Activation Mapping) CNN에서 마지막 FCN을 제거하고 GAP(Global Average Pooling)을 적용하는 것은 대략 2015년 이후부터 자주 사용되는 방법이다. 위와 같이, feature map인 f1,f2...fk가 GAP를 거쳐 F1,F2...Fk(각각은 scalar)로 변환되고, 여기서 weighted sum이 일어나며 C class에 속할 score가 구해진다. 위를 보면, GAP를 가장 나중에 걸어도 결과 값이 같음을 알 수 있다. 즉 feature map에 먼저 weighted sum을 적용하고, 그 뒤에 GAP를 적용하는 것이다. Feature map에 weight가 곱해진 matrix는 weighted activation map이라고 할 수 있을 것이다. 다시 GAP를 먼저 하는 방식으로 돌아와서,..
인공지능을 위한 선형대수(주재걸 교수님) 전사함수와 일대일함수 Check - ONTO란? - One to One이란? 선형 독립과는 무슨 관계인가? - i차원에서 j차원으로의 변환에서, 절대로 onto나 one to one이 아닌 조건은? 증명할 수 있는가? - 머신러닝에서의 의미는? 머신 러닝에서 GAN이나 Decoder를 ONTO라고 부를 수 있다. GAN에서 latent vector와 output image와의 mapping은 ONTO일 수가 없다. Latent vector를 변환한 것의 span은 절대로 image의 subspace를 전부 표현할 수 없다. 마치 평면으로 공간을 커버할 수 없는 것과 같다. 가령 얼굴을 생성한다고 할 때, 3차원의 공간에서 이미지가 있을 법한 평면을 잘 골라내는 것을 GAN을 학습하는 것에 비유할 수 있다. 여기서 선형 변환은..
인공지능을 위한 선형대수(주재걸 교수님) 선형변환 with Neural Network Check - 선형 변환의 기하학적 의미를 설명할 수 있는가? - Affine 변환이란? 뉴럴넷에서 affine 변환을 선형 변환으로 바꾸는 방법은? - 뉴럴넷에서 행렬 곱을 선형 결합의 관점에서 바라볼 수 있는가? 선형 변환의 기하학적 의미는 위와 같다. 뉴럴넷에서는 bias가 있기 때문에 선형 변환이 아니게 된다. 이것을 affine 변환이라고 한다. 위와 같이 bias trick을 사용해서 선형 변환으로 만들 수 있다. 이렇게 뉴럴넷에서의 행렬 곱을 선형 결합의 관점에서 바라볼 수 있다.

티스토리툴바