[AI] 사례 기반 학습(instance-based learning), 모델 기반 학습(model-based learning)

들어가며

이번 글에서는 머신러닝 시스템을 어떻게 일반화 시키느냐에 따라 분류한

사례 기반 학습과 모델 기반 학습에 대하여 알아 볼 것이다

일반화한다는 것의 의미는 주어진 훈련 데이터로 학습한 후 

새로운 데이터를 받았을 때 좋은 예측을 만들어야 한다는 것이다

 

사례 기반 학습

사례 기반 학습이란?

사례 기반 학습은 단순 기억을 바탕으로 학습하고 유사도를 통해 일반화하는 방식이다

유사도를 측정하는 방법은 공통으로 포함된 부분을 파악하는 식으로 측정한다

 

시스템이 훈련 샘플을 기억함으로써 학습하고 유사도 측정을 통해

새로운 데이터와 학습한 샘플을 비교하는 식으로 일반화한다

출처 : https://ittrue.tistory.com/36

 

위 사진에서 새로운 샘플(X 모양)은 사례 기반 학습이라면

가장 비슷한 샘플 중 다수가 세모이므로 세모로 분류될 것이다

k-최근접 이웃 회귀

k-최근접 이웃 회귀 알고리즘은 사례 기반 학습 알고리즘을 활용한 것으로

새로운 데이터가 들어오면 새로운 데이터와 가장 가까운 k개의 이웃을 찾아

이웃들의 정보를 바탕으로 예측하는 방식이다

 

출처 : https://velog.io/@suwdle/posts

 

위 사진에서 "?" 모양의 새로운 샘플은 k = 3 이라면 가장 근처 3개만 보면되므로 세모로 분류될 것이고

k = 7 이라면 가까운 7개를 봤을 때 별이 더 많으므로 별 모양으로 분류될 것이다

 

모델 기반 학습

모델 기반 학습이란?

모델 기반 학습은 샘플들을 통해 모델을 만들어 예측에 활용하는 방식을 말한다

여기서 말하는 모델이란 입력 데이터와 출력 사이의 규칙이나 구조를 수학적으로 표현한 것을 의미한다

 

간단한 선형 모델 하나를 소개해보겠다

여기서 두 모델 파라미터가 존재하는데 이 두 파라미터를 조정하면서 모델이 최상의 성능을 내도록 해야한다

출처 : https://mrlazydev.tistory.com/

 

위 사진처럼 어떤 선형 함수를 표현하는 모델을 얻을 수 있다

 

그렇다면 모델이 최상의 성능인지 판단은 어떻게 하냐에 대한 의문을 가질 수 있다

이 때 사용할 수 있는 것이 비용 함수다

비용 함수는 모델의 예측이 실제 값과 얼마나 다른지를 나타내는 함수이다

비용 함수는 모델의 예측과 훈련 데이터 사이의 거리를 재는데 이 거리를 최소화 하는 것이 목표이다

 

마치며

이번 글에서는 머신러닝 시스템이 어떤 식으로 일반화시키는 지에 따라 분류한

사례 기반 학습과 모델 기반 학습에 대하여 알아보았다

모델 기반 학습은 구조를 수학적으로 표현해야 한다는 것과 여러 관련 개념이 나오는 것을 보아

깊게 파고들수록 개념이 더 심오해지고 복집해질 것 같다는 느낌을 받았다

다음 글에는 모델이 훈련 데이터에 과하게 맞춰져 오류가 나는 것과

과하게 덜 맞춰져 오류가 나는 것에 대하여 알아 볼 것이다.