[AI] 로지스틱 회귀(logistic regression)

들어가며

일부 회귀 알고리즘은 분류에서도 사용될 수 있다

로지스틱 회귀는 이름에는 회귀가 들어가지만 분류 문제에 쓰이는 알고리즘이다

 

도출된 값이 주어진 임곗값을 넘을 경우 양성 클래스로 판정하고

그렇지 않으면 음성 크래스로 판정하는 방식으로 이루어진다

이러한 회귀 방식을 로지스틱 회귀라고 부른다

 

로지스틱 회귀

로지스틱 회귀는 어떤 식으로 값을 도출하는 지 궁금할 것이다

로지스틱 회귀는 우선 선형 회귀처럼 입력 특성의 가중치 합을 계산한다

이 값은 -∞ ~ +∞의 범위를 가지므로 분류 값으로 쓰기 어려우므로 로지스틱 함수를 적용해 0~1 사이의 값으로 변환한다

위 식은 로지스틱 회귀 모델의 확률 추정식이다

이 함수가 0~1사이의 값을 도출하도록 하는 시그모이드 함수이며

로지스틱 함수는 시그모이드 함수에 포함되는 개념이다

로지스틱 함수

만약 p값이 0.5 이상이면 y값을 1(양성 클래스)로 예측하고

0.5 미만이면 y값을 0(음성 클래스)으로 예측한다

 

로지스틱 회귀의 훈련과 비용 함수

지금까지는 로지스틱 회귀 모델이 어떻게 확률을 추정하고 예측하는 지 알아보았다면

이제는 어떻게 훈련시키는 지에 대하여 알아 볼 것이다

 

위 식은 하나의 훈련 샘플에 대한 비용 함수를 나타낸 식이다

 

우선 -log(t) 그래프부터 살펴보겠다

x축은 예측 확률이고 y축은 비용 함수이다

만약 양성 샘플(y=1)을 0에 가까운 확률로 추정한다면 비용이 크게 증가한다

또한 음성 샘플(y=0)을 1에 가까운 확률로 추정한다면 비용이 크게 증가할 것이다

 

마찬가지로 양성 샘플을 1에 가깝게 추정하면 비용이 0에 가깝게 줄어들 것이고

음성 샘플을 0에 가깝게 추정하면 비용이 0에 가까워질 것이다

 

위에서 본 비용 함수는 하나의 훈련 샘플에 대한 것이고

일반화하면 아래와 같다

로지스틱 회귀 비용 함수

y_i는 0 또는 1의 값을 의미하고

모든 훈련 샘플의 비용을 평균한 식이며 이를 로그 손실이라고도 부른다

 

이 비용함수를 경사 하강법에 적용시키는 등 활용해서 훈련시키는 것이다

 

결정 경계

로지스틱 회귀에서 결정 경계라는 말의 의미는

두 클래스가 나뉘는 기준선을 말한다

 

보통 확률이 0.5가 되는 곳을 기준으로 그 이상은 양성 클래스 그 이하는 음성 클래스로 나눈다

이 때 확률이 0.5가 되는 특성 값들의 집합을 결정 경계라고 하는 것이다

 

그래프로 보면 더 이해가 쉬울 것이다

위 그래프는 꽃잎의 너비(Petal width)에 따른 Iris virginica 종류의 꽃인지에 대한 추정 확률을 계산한 것이다

 

결정 경계는 1.6cm 정도에서 만들어진다고 보면 되고

결정 경계 기준의 꽃잎 너비보다 넓을 경우(결정 경계 기준 오른쪽)에 양성으로 예측되고

좁을 경우 음성 즉 Iris virginica가 아니라고 예측하는 것이다

 

마치며

이번 글에서는 로지스틱 회귀 작동 방식과 훈련이 어떻게 이루어지는 지에 대하여 알아보았다

결정 경계라는 개념이 글로만 의미를 들었을 때에는 무슨 말인지 잘 몰랐는데

그래프를 통해 직관적으로 확인해보니 의미가 생각보다 자명한 사실이며 복잡한 이해를 요구하는 것도 아니였어서

개념 이해를 할 때 글만 보는 것이 아닌 그림이나 그래프로 확인하며

직관적으로 이해해보는 것이 중요하다는 것을 느꼈다