전체 글 (75) 썸네일형 리스트형 Understanding Deep Learning Requires Rethinking Generalization Submission : 2017 Conference : ICLR Paper Link : arxiv.org/abs/1611.03530 Keywords Generalization Understanding deep learning Contribution 현존하는 딥러닝 모델들의 일반화 성능을 지금의 이론으로 설명할 수 없음을 보임. Introduction 현존하는 딥러닝 모델들은 training data 전체를 memorize 할 수 있을 만큼 parameter가 많다. 그럼에도 불구하고 generalize가 꽤 잘 된다. 즉, training과 test시에 성능 차이가 그렇게 크지는 않다. 물론, generalize를 못하는 모델도 있다. 잘되는 모델과 안되는 모델의 차이를 알면, 잘되는 모델을 만들 때 도.. 확률 및 통계(한양대 이상화교수님) lec12 : 조건부 평균과 공분산 Check - E[X|Y] = ? - 위 example을 풀 수 있는가? - X와 Y의 covariance의 정의는? - X와 Y의 covariance를 E[XY] - ____ 의 꼴로 나타내면? - Covariance가 0이라는 것은 어떤 의미인가? - Covariance가 0이면 X와 Y는 independent 한가? - X와 Y가 independent 하다면 covariance는 0인가? - Correlation coefficient의 정의는? - Correlation coefficient의 범위와 의미는? - Correlation coefficient의 분모의 의미는? - y=ax+b로 표현될 때 X와 Y의 covariance는? - Cauchy schwarz inequality는?(a,b,c,x.. 확률 및 통계(한양대 이상화교수님) lec11 : 연합확률밀도함수와 조건부확률밀도함수 Check - Joint pdf를 joint cdf에 대한 식으로 나타내면? - 변수가 두 개인 상황에서 density를 한 마디로 정의하면 무엇인가? - 위 pdf를 dydx로 적분할 때, 적분 구간은? - x와 y의 범위는 위와 같을 때, Y|X conditional pdf는? - 위 conditional pdf를 marginal pdf에 대한 식으로 나타내면? 단위 길이 당 확률이었던 density의 개념이 joint pdf로 오면서 단위 면적 당 확률의 개념으로 확장된다. 이중 적분 시에 구간을 적절하게 설정하여야 한다. Conditional probability도 joint 개념으로 확장될 수 있다. Conditional density도 비슷한 식으로 표현이 된다. Density가 probabi.. 확률 및 통계(한양대 이상화교수님) lec10 : 다중변수 및 연합분포 Check - P(x1 확률 및 통계(한양대 이상화교수님) lec9 : 정규분포 Check - Normal distribution의 pdf 식은? - GMM이란? - Normal distribution에서 분산이 크다는 것은 어떤 의미인가? - 적분은 직사각형의 넓이를 더해나가는 것으로 생각할 수 있다. 이중 적분은 어떠한가? - Binomial distribution에서 n이 너무 크면 계산 복잡도가 올라간다. 어떻게 해결하는가? - Pascal distribution의 RV는? - Pascal distribution의 pdf 식은? - Pascal distribution과 geometric distribution의 관계는? Multi mode distribution은 GMM로 나타낼 수 있다. Pdf에서 M_x가 아니라 M_X이다(오타). 분산이 가지는 의미 Normal dist.. 확률 및 통계(한양대 이상화교수님) lec8 : 지수분포와 어랑분포 Check - Poisson distribution의 RV는? - Poisson distribution의 식은? 평균과 분산은? - Exponential distribution의 RV는? - Exponential distribution의 식은? 평균과 분산은? - 두 분포의 관계는? - K-order erlang distribution이란? Exponential distribution과의 관계는? - Erlang distribution의 평균은? - X가 a~b일 때, uniform distribution의 평균과 분산은? - 데시벨이란 무엇인가? Poisson distribution과 exponential distribution의 간단한 복습과, exponential distribution의 forge.. 인공지능을 위한 선형대수(주재걸 교수님) 고유값 분해와 특이값 분해의 응용 Check - Similarity matrix란? - ML에서 similarity matrix를 사용하는 대표적인 2가지 예시는? - ML에서 SVD를 활용하는 두가지 예는? - Low rank approximation은 어떤 효과가 있는가? - Low rank approximation을 A와 A_r에 관한 식으로 나타내면? - AB라는 outer product에서, A의 rank가 n이면 AB의 rank가 n인가? 이유는? - Dimension reduction을 X, G에 관한 식으로 나타내면? - Dimension reduction에서 G는 어떻게 구하는가? - Dimension reduction에서 차원 축소된 Y를 시그마와 V에 관한 식으로 나타내면? ML에서 이러한 positive defini.. 인공지능을 위한 선형대수(주재걸 교수님) 특이값 분해2 Check - AA^T와 (A^T)A를 이용해서 A의 SVD를 구하는 방법은? - 이를 위해서는 3가지를 증명해야 한다. 각각 무엇인가? - Spectral theorem이란? - Algebric multiplicity란? - Geometric multiplicity란? - Geometric multiplicity의 범위는? - Spectral theorem에서 eigenspace가 서로 orthogonal하다는 것은 무엇을 의미하는가? - Characteristic equation에서 허근이 나오면 diagonalizable한가? - Positive(-semi) definite의 정의는? - (A^T)A, AA^T는 positive definite 함을 증명할 수 있는가? - 어떤 matrix의 SVD.. 이전 1 2 3 4 5 ··· 10 다음
