들어가며
저번 글에서는 머신러닝 시스템을 훈련 시 어떻게 정보가 주어지는에 따라 분류한
준지도학습, 자기지도학습, 강화학습에 대해 알아봤었다
이번 글에서는 입력 데이터 스트림에 따라 분류한 즉 데이터가 어떤 흐름으로 유입되는 지에 따라 분류한
오프라인 학습과 온라인 학습에 대해 알아볼 것이다
오프라인 학습
오프라인 학습이란?
오프라인 학습은 배치 학습이라고도 부르며 데이터를 점진적으로 나눠서 학습하는 것이 아닌
가용한 데이터를 한 번에 모두 사용해 훈련시키는 방식을 말한다
데이터를 한 번에 다 사용해 훈련시켜 실제 시스템에 적용시키면
그 다음부터는 더 이상의 학습 없이 실행된다.
오프라인 학습의 한계
오프라인 학습은 기본적으로 가용한 데이터를 한 번에 다 훈련시키므로 시간과 자원이 많이 소모된다
또한 한 번 학습하면 더 이상의 학습은 없기에 시간이 지날수록 성능이 감소할 수 밖에 없다
세상은 계속 변화하지만 모델은 바뀌지 않고 그대로이기 때문이다
이 현상을 모델 부패 혹은 데이터 드리프트라고 한다
이에 대한 해결 방안은 최신 데이터를 포함하여 모델을 정기적으로 재훈련 시키는 방법이 있다
이 경우에는 새로운 데이터뿐만 아니라 이전 데이터도 포함한 전체 데이터를 다시 처음부터 훈련시켜야한다
그 후 이전 모델을 새 모델로 교체하는 것이다
이렇게 훈련시키는 것은 빠른 변화에 적응이 필요한 모델의 경우 비효율적이며
여전히 시간과 자원이 많이 소모되므로 더 능동적이고 점진적인 알고리즘이 필요하다
이 때 사용할 수 있는 것이 바로 온라인 학습이다
온라인 학습
온라인 학습이란?
온라인 학습은 오프라인 학습과는 반대로 순차적으로 데이터를 작은 묶음 단위로 주입하여 시스템을 훈련시킨다
새로운 데이터가 들어오면 실시간으로 학습하므로 매 학습 단계가 빠르고 비용이 적게들어
데이터가 들어오는 즉시 학습이 가능하다
온라인 학습은 주식 시장 시스템같은 빠른 변화에 적응해야 하는 시스템에 사용하는 것이 적합하다
또한 컴퓨팅 자원이 제한된 경우에도 좋은 선택이 될 수 있다
외부 메모리 학습
컴퓨터 한 대의 메모리에 들어갈 수 없는 큰 데이터셋을 훈련시켜야 할 경우
전체 데이터셋을 부분으로 나누어 점진적으로 읽어들이면서 학습시킬 수 있다
이 방식을 외부 메모리 학습이라고 한다
이 방식은 보통 오프라인으로 실행되기에(실시간으로 수행되는 것이 아님)
온라인 학습으로 묶이는 것에 대해 이해가 안 갈 수 있다
외부 메모리 학습은 데이터가 순차적으로 들어온다는 개념에서 온라인 학습으로 묶인 것이다
즉 온라인 학습이라고 다 실시간으로 들어오는 것은 아니고 순차적으로 들어오는 것이 핵심이다
온라인 학습의 한계
변화하는 데이터에 대한 적응 정도를 학습률이라고 한다
학습률이 높을수록 더 빨리 적응하지만 예전 데이터를 금방 잊어버린다 즉 안정성이 떨어진다
반면에 학습률이 낮으면 더 느리게 학습하지만
기존 데이터를 잊지 않으면서 거를 건 거르며 새 데이터를 학습한다
온라인 학습에서는 이 학습률이 시스템에서 중요한 요소이다
온라인 학습에서의 큰 문제는 시스템에 나쁜 요소가 주입되었을 때 시스템 성능이 감소한다는 것이다
학습률을 잘못 높이게 되면 나쁜 데이터 한 방에 모델이 크게 망가질 수 있다
이를 줄이기 위해서는 시스템에 대한 면밀한 모니터링이 필요하며 즉각적인 조치를 할 수 있도록 해야한다
마치며
이번 글에서는 머신러닝 시스템을 입력 데이터 스트림에 따라 분류한
오프라인 학습과 온라인 학습에 대하여 알아보았다
온라인 학습의 한계에 대해 공부하기 전에는 온라인 학습이 무조건 좋은 것인 줄 알았는데
한계에 대해 공부하고 난 후 오프라인 학습과 온라인 학습을 잘 판단해서 사용해야겠다고 생각했다
다음 글에서는 일반화가 되는가에 따라 머신러닝을 분류한 사례 기반 학습과 모델 기반 학습에 대해 알아볼 것이다