들어가며지난 글들에서 신경망의 훈련 속도를 높이는 방법들에 대해 알아보았다좋은 초기화 전략, 좋은 활성화 함수, 배치 정규화가 있었다이번 글에서는 훈련 속도를 높일 수 있는 또 다른 방법으로 표준적으로 사용되는 옵티마이저인경사 하강법 대신 더 빠른 옵티마이저에 대해 알아볼 것이다모멘텀 최적화, AdaGrad, RMSProp, Adam까지 총 4가지의 옵티마이저를 살펴볼 것이다 모멘텀 최적화일반적인 경사하강법은 최적화 방식이 아래와 같다즉 현재 기울기만을 가지고 가중치를 업데이트 하는 방식이다이 방식은 최적점까지 가는 과정에서 진동이 많아져 수렴 속도가 느려지게 될 위험이 있다 반면 모멘텀 최적화는 현재 기울기뿐만 아니라 이전 기울기까지 고려하여 가중치에 반영한다각 반복에서 그레디언트를 직접적으로 가중치에..

들어가며저번 글에서 그레디언트 소실 문제를 해결할 수 있는 방안으로가중치 초기화 방식과 활성화 함수에 대해 알아보았는데, 이 두가지를 아무리 잘 설정한다고 하더라도훈련하는 동안 그레디언트 소실 문제가 다시 일어나지 않을거란 보장이 없다 그래서 이번 글에서는 그레디언트 소실 문제 해결을 위한 다른 방법인 배치 정규화에 대해 알아볼 것이다또한 마지막에는 그레디언트 클리핑이라는 기법까지 다뤄보겠다 배치 정규화배치 정규화는 각 층에서 활성화 함수를 통기화기 전 또는 후에 연산을 하나 추가하여분포를 안정화시켜 학습을 더 빠르고 안정적으로 만드는 기법이다 핵심 아이디어는 각 배치를 평균 0 분산 1에 가깝게 정규화한 뒤 하이퍼파라미터 γ, β를 이용해서학습에 적절하도록 스케일과 이동을 조절한다 알고리즘 과정은 아래..

들어가며저번 글에서는 머신러닝 시스템을 훈련 시 정보가 어떻게 주어지는 지에 따라 분류된 것들 중지도학습과 비지도학습에 대하여 공부했었다이번 글에서는 레이블의 유무로 기준을 나눈 것 중 지도학습과 비지도학습 외의 준지도학습, 자기지도학습,레이블과도 관계가 없고 아예 다른 종류의 알고리즘인 강화학습에 대하여 알아보려고 한다 준지도 학습준지도 학습이란?일반적으로 모든 데이터에 레이블을 다는 것은 시간과 비용적으로 비효율적이고 어렵기 때문에일부 데이터에만 레이블이 있고 레이블된 샘플이 없는 경우가 많다 준지도 학습은 쉽게 말해서 레이블이 전체 데이터에 다 있는 것이 아닌 일부 데이터에만 있어이를 통해 학습하는 것을 말한다 언제 준지도 학습을 사용할까?준지도 학습은 라벨링 비용이 매우 비싸지만 데이터는 넘칠 때..