[DL] 퍼셉트론과 역전파 알고리즘

들어가며

인공 신경망은 인간과 동물의 뇌에 있는 뉴런의 작동 방식에서 영감을 받았으며

뇌에 뉴런이 연결되어 정보를 학습하고 처리하는 방식을 컴퓨터에서 모방하려는 구조를 의미한다

퍼셉트론은 이러한 인공 신경망의 가장 간단한 구조를 말한다

 

이번 글에서는 퍼셉트론이 무엇인지, 퍼셉트론이 어떤 방식으로 훈련되어 값을 예측하는지,

단일 퍼셉트론의 한계를 알아보며 다층 퍼셉트론이 필요한 이유에 대해 알아볼 것이다

또한 다층 퍼셉트론의 훈련 방식에서 사용되는 역전파 알고리즘까지 알아볼 것이다

 

퍼셉트론

위에서 말했듯이 퍼셉트론은 가장 간단한 인공 신경망 구조로

입력과 출력이 이진값이 아닌 어떤 숫자이고 각각의 입력 연결은 가중치와 연관되어 있다

퍼셉트론은 입력값을 받으면 입력의 선형 함수(z=w^T+b)를 계산하여

나온 결과값을 활성화 함수에 적용시켜 최종 출력으로 도출한다

 

입력값을 받아 선형 계산을 하여 결과값을 출력하는 구조를 TLU라고 부르며

퍼셉트론의 가장 기본이 되는 단위이다

퍼셉트론은 하나 이상의 TLU로 구성되며 각각의 TLU는 모든 입력에 연결된다

위 그림은 두 개의 입력과 세 개의 출력이 있는 퍼셉트론이다

입력값이 있는 층을 입력 층이라고 하며

최종 출력을 생성하는 층을 출력 층이라고 한다

 

다시 한 번 정리하자면

퍼셉트론은 간단한 인공 신경망 구조로

입력값을 받으면 가중합(선형 계산)이 이루어지고 활성화 함수를 적용하여 출력값을 생성한다

 

TLU는 활성화 함수로 계단 함수를 사용한다

계단 함수로는 주로 헤비사이드 계단 함수를 사용하며 아래와 같다

가중합 결과가 임곗값(0으로 가정) 이상이면 1을 출력하고

임곗값 미만이면 0을 출력한다

 

퍼셉트론 훈련 방식

지금부터는 퍼셉트론이 어떤 식으로 훈련되는 지에 대해 알아볼 것이다

퍼셉트론은 네트워크가 예측할 때 만드는 오차를 반영하도록 연결을 강화시킨다

즉 입력이 주어지면 입력에 대한 예측이 만들어지고 실제 답과의 오차를 반영하여

입력에 연결된 가중치를 강화시키는 것이다

이 훈련 방식은 경사하강법과 매우 유사하다

 

퍼셉트론의 한계

단일 퍼셉트론의 출력 결정 경계는 항상 선형이므로 복잡한 비선형 패턴을 학습하지 못한다

대표적인 문제로는 XOR 문제가 있다

 

(0,0), (0,1), (1,0), (1,1)의 네 개의 점이 있다

AND를 보면 (1,1)만 True로 나머지 False들과 선형 분리가 가능하고

OR도 (0,0)만 False로 나머지 True들과 선형 분리가 가능하다

하지만 XOR은 직선으로는 절대 분리되지 않는 구조로서 단일 퍼셉트론으로는 좋은 솔루션을 내놓지 못한다

 

이 문제를 해결하기 위해 다층 퍼셉트론(MLP)가 제안되었다

 

다층 퍼셉트론

다층 퍼셉트론은 입력층과 출력층 그리고 그 사이에 은닉층으로 구성된다

이 때 은닉층을 여러 개 쌓아 올린 구조를 심층 신경망(DNN)이라고 한다

아래 그림은 여러 은닉층을 쌓아 올린 심층 신경망을 나타낸다

 

다층 퍼셉트론 훈련 방식

다층 퍼셉트론은 역전파 알고리즘을 통해 가중치를 학습한다

역전파 알고리즘은 순전파와 역전파 크게 두 단계로 진행된다

 

순전파 단계에서는 입력으로 들어온 모든 샘플에 대해 은닉 층의 모든 뉴런의 출력을 계산한다

이 출력은 다음 은닉 층으로 전달되고 다시 그 층에서 출력을 계산하고 다음 층으로 전달된다

이런식으로 마지막 층의 출력을 계산할 때까지 계속된다

이 때 마지막 층에서 나온 예측값과 실제값의 차이를 측정한다

 

역전파 단계에서는 출력층에서 계산된 오차를 바로 밑의 은닉 층에 전달하여

가중치가 오차에 얼마나 기여했는지를 나타내는 그레디언트를 계산한다

이후 그 밑의 층으로 그레디언트를 전달하고 그 층의 가중치가 오차에 얼마나 기여했는 지를 계산한다

이렇게 각 층에서 오차 그레디언트를 연쇄 법칙을 적용하여 계산하고 입력층에 도달할 때까지 계속된다

이후 알고리즘은 계산된 그레디언트를 통해 경사 하강법을 수행하여 신경망의 모든 가중치를 수정한다

 

이 과정을 여러 번 반복하며 가중치를 수정해가며 오차를 줄여나가는 것이다

 

역전파 알고리즘에서는 활성화 함수로 계단 함수 대신 비선형 함수를 사용한다

계단 함수는 수평선 형태 구조이므로 대부분 지점에서 그레디언트가 0이고 미분 불가능한 지점이 있다

역전파는 미분을 통해 그레디언트를 계산하는 알고리즘인데 미분이 불가능하면 안되기에

계단 함수 대신 미분 가능한 비선형 함수를 활성화 함수로 사용한다

대표적으로는 시그모이드 함수, tanh함수, ReLU함수 등이 있다

 

이쯤 왔으면 활성화함수를 왜 사용해야 하는지에 대해 의문이 한 번 쯤은 들었을 것이다

퍼셉트론이 가중합을 계산하는 과정은 선형 연산으로 이루어진다

활성화함수가 없다면 선형 연산을 여러번 진행해도 결국 선형으로 나오게되며 복잡한 문제를 학습하기 어려워진다

따라서 활성화 함수로 비선형 함수를 넣어서 복잡한 비선형 관계도 학습할 수 있도록 해준다

 

마치며

이번 글에서는 단일 퍼셉트론과 단일 퍼셉트론의 한계 그리고 다층 퍼셉트론과 역전파에 대해 알아보았다

딥러닝의 기반에 대해 처음 공부해보았는데 인간 뇌에서 뉴런이 어떤 신호로 동작하는 지의 원리도 복잡한데

이를 컴퓨터적 인공 신경망으로 구조를 표현해낸 것이 놀라웠다

단일 퍼셉트론의 한계와 다층 퍼셉트론이 필요한 이유에 대한 개념이 이어지는 과정에 대한 이해와

역전파 알고리즘의 동작 방식을 파악하는 데에 어려움을 꽤나 겪었다

하지만 그 과정이 의미 없는 과정이 아닌 후에 더 복잡한 개념을 배울 때

기반이 될 거라는 생각에 끝까지 이해해보려고 했다