인공지능을 위한 선형대수(주재걸 교수님) 정규방정식

Check

- Normal equation을 미분을 통해 derivation 할 수 있는가?

- 

 

(A^T)A가 invertible하다면 역행렬을 이용해 한 번에 풀 수 있고 해도 유일하다. 그렇지 않다면 해는 무수히 많게 된다.

 

ML에서 실제로는 invertible한 경우가 많다. 이유는 아래와 같다.

데이터가 쌓일 수록 하나의 feature를 다른 feature들의 선형 결합으로 표현하기는 어려울 것이다. 따라서 해가 유일할 것이다. 물론 여기서 말하는 해는 근사해이다. 해는 존재하지 않을 확률이 높을 것이다. Loss가 0인 경우는 볼 수가 없겠다.