연관토픽
개념 : 생물학적 신경망을 모방항 차세대 신경망
- 뇌 신경세포의 출력과 입력 활동 전위의 상대적 타이밍을 기반으로 연결강도를 조정하며, 시냅스 전 스파이크와 시냅스 후 스파이크의 시간차이를 통하여 시냅스 가중치를 확인ㆍ학습하는 제 3 세대 인공지능 기술
- 특정 시점에 발생하능 이산적인 스파이크(spike)를 통해 동작되며, 스파이크의 발생여부는 다양한 생물학적 프로세스를 나타내는 미분 방정식에 의해 결정됨
- 뉴런이 시냅스를 통해 다른 뉴런으로 스파이크 신호를 전달하는 두뇌 정보 전달 방식에 영감을 얻은 신경망 구조
SNN의 특징
- 이벤트 기반 비동기적 동작
- 병렬성 향상 및 하드웨어 에너지 소모 절감 (저전력 뉴로모픽 칩 구현에 활용)
| 특징 | 설명 |
| High performance | 미세한 병렬처리 작업(Fine-grained Parallelism) |
| Low power | 이벤트 기반 컴퓨팅(Event-driven computation) |
| On-chip learning | 적응형 자가수정(Adaptive, selfmodifyling) |
LIF(Leaky interate-and-fire) 모델
- 뉴런의 막전위는 뉴런이 특정한 전위에 도달하면 스파이크가 발생하고, 해당 뉴런의 포텐셜 값이 초기화되는 것
- 이때, 사용되는 가장 일반적인 모델이 LIF 모델
SNN의 구조
- 두뇌를 구성하는 뉴럽과 시냅스를 인공지능 구현 형태로 추상화한 LIF(Leaky Integrated-and-Fire) 모델
SNN vs. DNN
| 구분 | SNN | DNN |
| 구현원리 | 뇌의 생물학적 특성 모방 | 뇌가 패턴을 인식하는 방식 모방 |
| 동작특성 | 이벤트 기반(event-driven)으로 동작할 수 있어 다른 인공 신경망에 비해 저전력 동작가능 | 연속적인 데이터에 대한 모델링, 경사하강법/오류역전파 등의 학습방법은 많은 양의 컴퓨팅 자원과 전력 소모 요구량 발생 |
| 학습형태 | 신경세포 각각에 대한 학습 가능 | 전체 학습 |
| 기술적 성숙도 | 우수한 성능에도 불구하고, 생물학적으로 타당한 STDP와 같은 국소 학습 방법을 사용하여 대규모 신경망 적용은 어려움 | 대형 데이터 셋의 가용성, 범위 GPU 컴퓨팅 형태의 컴퓨팅 능력, 고급 정규화 방법 등으로 성능 향상 및 활용 분야 증대 |
모범답안
참고 사이트
- Spiking Neural Networks : 생물학적 신경망을 모방한 차세대 신경망
- Basic Guide to Spiking Neural Networks for Deep Learning
읽을거리