전체 글 (75) 썸네일형 리스트형 CS231n Lecture 13 : Generative Models Unsupervised learning에는 label이 없다. 대신 데이터 자체의 hidden structure를 학습한다. Unsupervised learning을 푸는 것 만으로 visual world의 underlying structure를 알게 된다. 가령 자기 자신을 복원시키는 오토 인코더는 실제 데이터의 의미있는 feature를 찾아낼 수 있다. Generative model의 목적은 데이터의 density를 닮는 것이다. 다양한 곳에 적용할 수 있는데, 시계열 데이터를 생성해서 RL에 사용할 수 있다고 한다. 또한 latent representation을 배우는 것도 유용하다. 갈래는 위와 같이 나눠진다. Explicit density 모델에서는 likelihood p(x)가 명확하게 정의되.. 인공지능을 위한 선형대수(주재걸 교수님) 그람-슈미트 직교화와 QR 분해 Check - Gram-schmidt Orthogonalization이란? 하는 방법은? - QR Factorization이란? - Example 4를 풀 수 있는가? Orthonormal basis로 원래의 basis를 reconstruct 할 수 있다. 이를 이용해서 원래의 basis matrix인 A를 Q와 R의 곱으로 분해할 수 있다. 우선 orthonormal basis를 찾는다. R 행렬은 위와 같이 찾을 수 있다. 인공지능을 위한 선형대수(주재걸 교수님) Orthogonal Projection Check - Orthogonal set, orthogonal basis, orthonormal basis, orthogonal projection이란? - Orthogonal projection은 linear transformation인가? 이유는? - 어떤 벡터로의 orthogonal projection은 어떻게 하는가? - 평면으로는? - Orthonormal basis에 관한 식으로 orthogonal projection을 나타낼 수 있는가? - Normal equation으로도 유도할 수 있는가? - 머신러닝에서 데이터의 feature간의 각도는 무엇을 의미하는가? 왜 orthogonal한 feature가 좋은가? - Feature 벡터간의 각도의 관점에서 L2 regularization의 역할.. 확률 및 통계(한양대 이상화교수님) lec6 : 조건부 평균 Check - Geometric distribution이란? - Geometric distribution의 평균과 분산은? - 오차 최소화 시에 평균과 분산, 중위값은 어떻게 활용되는가? - Discrete와 continuous에서 conditional mean은? - Exercise 두 개, 각각 부등호 바꿔서도 풀 수 있는가? 또 다른 확률 분포를 배웠다. Few-shot Knowledge Transfer for Fine-grained Cartoon Face Generation Submission : 2020 Paper Link : arxiv.org/abs/2007.13332 Keywords Face2Cartooon Conditional GAN Unpaired image to image translation Few shot learning Contribution 데이터가 많은 group에서 얻은 knowledge를 few shot group으로의 image translation에 transfer하는 방법을 소개했다. Proposed methods 기존의 U-GAT-IT같은 cartoon generation 모델을 보면, 이미지의 group을 구분하지 않아서 모든 input이 dominate한 group으로 translate되는 단점이 있었다. 가령 face2anime의 경우 a.. 확률 및 통계(한양대 이상화교수님) lec5 : 확률변수의 평균과 분산 Check - 평균을 구하는 방법은? - Poisson distribution과 exponential decay distribution이란? 각각의 기대값은? - Moment와 central moment는 무엇인가? - Expectation은 linear한가? - Variance를 구하는 쉬운 방법은? - Poisson distribution에서 variance를 구할 수 있는가? - 미분을 이용하여 더 쉽게 구할 수 있는가? 평균을 계산하는 방법 Taylor series를 이용해 포아송 분포의 기대값을 구한다. Exponential decay distribution의 기대값. 위와 마찬가지로 parameter의 식으로 표현된다. Poisson이든, exponential decay이든, uniform이든.. U-GAT-IT 리뷰 Submission : 2019 Paper Link : arxiv.org/abs/1907.10830 Keywords CAM Module AdaLIN Contribution CAM module을 이용해서, geometric change가 많이 필요한 상황에서도 좋은 결과를 얻었다. AdaLIN이라는 새로운 normalization 방법을 제시하고, 이를 이용해 고정된 architecture와 hyperparameter로도 다양한 데이터셋에 대해 안정성을 확보했다. CAM Module yun905.tistory.com/38 CAM(Class Activation Mapping) CNN에서 마지막 FCN을 제거하고 GAP(Global Average Pooling)을 적용하는 것은 대략 2015년 이후부터 자주 .. Normalization methods (batch, layer, instance, group normalization) leimao.github.io/blog/Batch-Normalization/ 위 블로그에 아주 쉽게 정리가 되어있다. 다만 layer normalization은 틀리게 설명하고 있으므로 batch normalization만 보면 좋다. Batch Normalization은 위와 같이 각 feature map별로 평균과 분산을 구한다. Feature map안의 location 정보는 사라진다(어차피 sum이므로 위치를 뒤바꿔도 같은 평균이 나올 것이다). 그런데 feature map은 여러 개이므로 한 batch에서 mean vector를 뽑으면 위와 같을 것이다. 이런 batch normalization은 몇 가지 단점이 있는데, 1. Batch 통계량을 사용하므로 하나의 batch가 모두 계산되기 전까.. 이전 1 2 3 4 5 6 7 ··· 10 다음
