인공지능 13강 (신경회로망)

학습개요

1. 단층 퍼셉트론으로 해결할 수 없는 XOR 문제와 같은 많은 문제는 여러 층으로 구성된 신경망 구조를 이용하여 해결할 수 있다. 오차역전파는 다층 퍼셉트론을 학습시킬 수 있는 학습 모델이다. 이번 시간에는 다층 피드포워드 신경망을 학습하기 위한 오차역전파 모델에 대하여 학습한다. 또한, 경쟁학습을 통해 학습하는 다른 유형의 신경망 모델인 자기조직화지도 및 LVQ 학습에 대하여 학습한다.

 학습목표

1. XOR 문제를 해결하는 방식을 설명할 수 있다.
2. 오차역전파 모델의 학습 방법을 구현할 수 있다.
3. 자기조직화지도 및 LVQ에서 대표벡터를 형성하는 과정을 구현할 수 있다.

 주요용어

1. 오차역전파(Backpropagation) : 다수의 은닉층을 포함하는 다층 퍼셉트론을 학습할 수 있는 지도학습 모델로서, 출력층으로부터 입력층 방향으로 오차를 전달하며 연결가중치를 업데이트한다.
2. 관성항, 모멘텀(momentum) : 경사하강법 적용 과정에서 이전 단계의 연결가중치 변화량을 현 단계에서 반영하기 위한 비율이다. 연결가중치가 진동하듯 변화하여 수렴이 늦어지거나 적절한 값으로 수렴하지 못하는 문제를 개선할 수 있다.
3. 경쟁학습(competitive learning) : 입력 데이터에 대해 반응을 하기 위한 권한을 다른 노드들과 경쟁을 통해 얻어내는 방식의 신경망 자율학습의 형태이다.

정리하기

1. 다층 퍼셉트론 구조는 입력층과 출력층 사이에 1개 이상의 은닉층을 포함한다.
2. 오차역전파(BP) 모델은 다층 퍼셉트론을 훈련할 수 있는 학습 모델이다.
3. 뉴런의 활성함수는 시그모이드와 같이 미분 가능한 함수를 사용한다.
4. 3층 이상의 다층 퍼셉트론을 사용할 경우 복잡한 결정경계를 갖는 문제를 풀이할 수 있다.
5. 최종 출력층에 연결되는 연결가중치는 출력과 라벨 사이의 오차가 최소화되도록 정의된 손실함수를 이용하여 업데이트된다.
6. 은닉층 사이의 연결가중치의 업데이트는 체인 룰에 따라 다음 단계에서의 델타를 이용한다.
7. 모멘텀을 이용하여 연결가중치의 변화가 진동하여 학습이 지연되거나 적절한 값으로 수렴하지 못하는 문제를 개선할 수 있다.
8. 자기조직화 지도 모델은 자율학습 방식으로 경쟁학습을 함으로써 주어진 표본 집합을 정해진 개수의 군집으로 군집화한다. 연결가중치는 군집을 대표하는 대표벡터가 된다.
9. LVQ 학습은 지도학습 방식에 따라 자기조직화 지도와 유사한 방식으로 학습을 함으로써 학습 대상 클래스들에 대한 대표벡터들을 구한다.