[Coursera1] Neural-Networks-Deep-Learning : Deep Neural Network

DNN : 표기법 약속

행렬의 차원을 확인해서, 코드가 정확한지 확인하자

1개의 test case와 m개의 test case에 대해서, 왼) 계산식, 우) 차원 계산

input <simple>  -----> output <complex>
ex) 얼굴, 음성

n개의 unit 를 계산하기 위해서,

 

1) 여러 개의 숨겨진 layer가 있는 신경망을 사용했을 때 => O(logN)의 깊이가 필요했다.

2) 하나의 Layer만 사용한다면 => hidden  Unit이 엄청 많아야 한다. O(2^N)

 

 

DNN의 Forward Function은 다음과 같다.

순방향 + 역방향 전파. 식으로 나타내면 오른쪽과 같다. 각 전파의 왼편은 1개의 예제에 대한, 오른쪽은 m개의 예제에 대한 식이다.

마지막 da0은 계산하지 않는다.

파라미터, 하이퍼파라미터 ??

딥러닝 과정은 반복시도이다.
CPU, GPU, Network도 변하고 있으므로, Cross-Validation과 같은 시도를 통해 적합한 값을 찾아야 한다.