들어가며저번 글에서 그레디언트 소실 문제를 해결할 수 있는 방안으로가중치 초기화 방식과 활성화 함수에 대해 알아보았는데, 이 두가지를 아무리 잘 설정한다고 하더라도훈련하는 동안 그레디언트 소실 문제가 다시 일어나지 않을거란 보장이 없다 그래서 이번 글에서는 그레디언트 소실 문제 해결을 위한 다른 방법인 배치 정규화에 대해 알아볼 것이다또한 마지막에는 그레디언트 클리핑이라는 기법까지 다뤄보겠다 배치 정규화배치 정규화는 각 층에서 활성화 함수를 통기화기 전 또는 후에 연산을 하나 추가하여분포를 안정화시켜 학습을 더 빠르고 안정적으로 만드는 기법이다 핵심 아이디어는 각 배치를 평균 0 분산 1에 가깝게 정규화한 뒤 하이퍼파라미터 γ, β를 이용해서학습에 적절하도록 스케일과 이동을 조절한다 알고리즘 과정은 아래..