Softmax 썸네일형 리스트형 [딥러닝] #3 활성화 함수 딥러닝 모델의 한 층에서 그 다음 층으로 넘어갈 때, 대부분의 은닉층에서는 활성화 함수를 거칩니다. 활성화 함수를 사용하는 이유는 다양하지만, 가장 근본적인 이유는 모델에 '비선형성(NonLinearity)'를 부여해주기 때문입니다. 활성화 함수의 종류는 매우 다양하고, 각 함수의 수학적인 특성에 따라 그 쓰임새가 나뉩니다. 시그모이드 함수(Sigmoid Function) / logistic 함수 딥러닝 초기에 주로 사용됐던 활성화 함수로, 0과 1 사이의 값을 반환하기에 확률로 해석 가능, 출력층에 사용되어 이진 분류에 사용되기도 하지만, 기울기 소실 가능성이 높고 학습 속도가 느리다. - 기울기 소실 가능성이 높다는 게 뭘까? 극단으로 갈수록 미분값이 0이 되어서, 가중치가 업데이트 되지 않는 상황... 더보기 이전 1 다음
