LSTM(Long Short-Term Memory)

차연성 2019. 3. 30. 09:55

2019. 3. 30. 09:55

연관토픽

개념

input, output, forget 3가지의 gate를 통해서 데이터들의 입출력을 조절해 필요할 때에만 데이터를 넣고, 과거 정보를 업데이트하고 출력하여 vanishing gradient problem 문제를 해결하는 알고리즘
RNN의 기울기 소실 문제를 해결하기 위하여 메모리 구조(Cell State)를 활용하는 신경망
RNN(순환 신경망, Recurrent Neural Networks) 알고리즘의 장기 의존성 문제(Long-Term Dependency)를 해결하기 위해 디자인된 뉴럴 네트워크 알고리즘
RNN은 인공신경망이 너무 깊어서 오랜 시간 전에 데이터를 잊어버리는 현상이 존재, schmidhuber 교수의 LSTM 유닛을 각 노드마다 배치하여 문제 극복

LSTM 배경

RNN의 장기 의존성(Long-term Dependency) 문제

RNN은 하나의 네트워크가 여러 개의 복사된 형태를 띄고 있고, 각각의 네트워크는 다음 단계로 정보를 넘겨줌, 시간에 따라 학습이 진행됨에 따라 앞에서 input으로 받은 정보가 학습에 미치는 영향이 점점 감소하다가 결국 사라져 버림
hidden layer at step t :

RNN은 매번 step 마다 위 과정을 반복, backpropagation시 더 많이 곱셈이 일어나므로, gradient vanishing and exploding로 앞의 정보가 뒤 노드까지 충분히 영향을 미치지 못하는 장기 의존성 문제 발생

LSTM 노드의 구조

LSTM의 구성요소

구분	구성요소	설명
게이트 구조	Forget Gate	어떤 정보를 버릴 것인지를 결정하는 게이트 셀의 상태에 따라 0과 1을 출력(0은 삭제, 1은 보존을 의미) sigmoid 함수 활용
	Input Gate	어떤 새로운 정보를 저장할 것인가를 결정 sigmoid, tanh 함수 활용
	Output Gate	어떠한 정보를 최종적으로 출력할 것인지를 결정 셀 상태 값을 tanh함수에 통과시켜 -1과 1사이의 값으로 변환하고, sigmoid 게이트와 곱하여 원하는 부분만 출력
메모리 구조	Cell State	입력값에 대해 아무런 변화없이 그대로 출력 약간의 선형작용을 가지고, 전체 체인에 연결됨(계속적으로 다음 단계에 전달)

LSTM 동작방식

1) 셀 스테이트에서 어떤 정보를 버릴지 선택하는 과정

2) 새로운 정보가 셀 스테이르에 저장될지 결정하는 단계

3) 어떤 출력값을 출력할지 결정

LSTM vs. GRU

구분	LSTM	GRU
목적	Long Short Term Memory RNN의 장기 의존성 문제를 해결	Gated Recurrent Unit LSTM의 간결한 구조
구조	Gate 3개 input gate, output gate, forget gate	Gate 2개 update gate, reset gate
특징	충분한 수의 데이터가 있을 경우 모델링 파워가 더 우수	파라미터 수가 적어서 학습시간이 더 짧게 걸림 보다 적은 학습데이터로도 학습이 가능

지능형 가로등 구조 및 LSTM 기반 태양광 패널 에너지 생산량 예측 구조

(왼쪽 그림) LSTM 모델을 활용한 기상 예측을 통해 수집되는 태양광 전략량을 예측하여 가로등의 조도를 자율적으로 조절하는 스마트 가로등 구조도
(오른쪽 그림) 전체적인 LSTM 기반 태양광 패널 에너지 생산량 예측구조로서 총 11개의 특성을 시계열 데이터로 입력받아 하루 동안 생산되는 태양광 에너지 예측(태양광 패널과 센서를 설치하여 가로등의 데이터를 수집하고, 외부 API를 통한 기상청 데이터를 수집하여 태양광 에너지 생산량을 예측)

모범답안

동영상 강의

ITPE 메타반/trans+formation