퍼셉트론(Perceptron)

Step 1. 퍼셉트론 정의

퍼셉트론은 신경망(딥러닝)의 근본이 되는 알고리즘으로 다수의 신호를 입력으로 받아 하나의 신호를 출력한다. 퍼셉트론은 이 신호를 입력으로 받아 임계치를 기준으로 1 or 0(흐른다 or 안 흐른다)라는 정보를 전달한다.

위 그림에서

$x_1, x_2$를 입력 신호, $y$를 출력 신호 그리고 $w_1, w_2$를 가중치(weight)라고 의미한다.
동그라미를 뉴런 or 노드라고 부른다.
입력 신호가 노드로 전달될 때, 입력 신호와 가중치가 곱해진다.
전달 된 신호의 총합은 임계값($\theta$)를 넘어야만 1을 출력한다.

수식으로 표현하면 아래와 같다

\[if \sum_i^{n} W_{i}x_{i}\ ≥ \theta → y=1\] \[if \sum_i^{n} W_{i}x_{i}\ < \theta → y=0\]

이러한 함수를 step function이라고 부르며 아래 그래프 모양과 같다.

위 함수를 활성화 함수(Activation function)이라 지칭하며, 매우 여러가지 종류가 존재한다. 이것은 나중 포스팅에서 공부해보자.

퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여하며, 가중치는 각 신호가 결과에 주는 영향력을 조절하는 요소이며, 가중치가 클수록 결과에 영향을 많이 끼침을 뜻한다.

위 식에서 $\theta$를 $-b$로 치환을 하면은 아래와 같이 변형이 된다.

\[if \sum_i^{n} W_{i}x_{i}\ + b≥ 0→ y=1\] \[if \sum_i^{n} W_{i}x_{i}\ + b< 0 → y=0\]

여기서 $b$를 편향(bias) 라고 한다. 실제로 $b$또한 딥러닝이 최적의 값을 찾아야 할 변수 중 하나이다.

Step 2. 단층 퍼셉트론

위에서 배운 퍼셉트론을 단층 퍼셉트론이라고 한다. 말 그대로 층이 하나 존재하는 구조인데 퍼셉트론은 단층 퍼셉트론과 다층 퍼셉트론으로 이루어진다.

단층 퍼셉트론은 입력 신호를 보내는 단계와 받아서 출력하는 두 단계로만 이루어진다. 이때 각 단계를 층(layer)라고 부르며, 이 두 개의 층을 입력층(input layer) 그리고 출력층(output layer)라고 한다.

그럼 단층 퍼셉트론이 어떤 일을 하며, 한계는 무엇인지 알아보자.

대표적으로 단층 퍼셉트론을 이용하면 AND, OR, NAND 게이트는 쉽게 구현이 가능하다.

AND gate : 두 개의 입력값이 모두 1인 경우에만 출력값이 1
OR gate : 두 개의 입력값이 모두 0인 경우에만 출력값이 0, 나머지 경우는 1
NAND gate : 두 개의 입력값이 모두 1인 경우에만 출력값이 0, 나머지 경우는 1

AND 게이트 경우를 python 코드로 구현해보자.

def AND_gate(x1, x2):
	w1 = 0.5
	w2 = 0.5
	b = -0.7
	result = x1*w1 + x2*w2 + b
	
	if result > 0:
		return 1
	else:
		return 0

위 함수에 각각의 입력값을 넣어보면 오직 두 개의 입력값이 1인 경우에만 출력이 된다.

AND_gate(0,0), AND_gate(1,0), AND_gate(0,1), AND_gate(1,1) 

(0,0,0,1)

나머지 gate도 이와 같은 방법으로 구현이 가능하다.

그러나 구현이 불가능한 gate가 존재하는데, 그것은 XOR gate 이다. 이 경우는 입력값 두 개가 서로 다른 값을 갖고 있을때만 출력값이 1이 된다. 위의 알고리즘으로 풀어도 XOR은 구현이 불가능하다. 그 이유는 단층 퍼셉트론은 직선 하나로 두 영역을 나눌 수 있는 문제에 대해서만 구현이 가능하기 때문이다.

시각화하여 이해를 해보자.

그림에서 출력값을 0인 경우 하얀색, 1인 경우 검은색 원으로 표현했다.