생성형 AI 기술 개발 및 활용 - 6

RNN

Recurrent Neural Network

 

순차적 입력 처리 (Sequential)

자연어 처리에 좋은 성능

언어 모델링과 텍스트 생성

자동 번역, 음성 인식, 이미지 캡션 생성

Long Short Term Memory(LSTM)

GRU(Gated Recurrent Unit)

 

 

 

 

LSTM과 GRU

 

전통적인 RNN의 기울기 소실 문제

 - 장기간의 의존성을 학습하는데 한계가 있음

게이트(gate)가 추가된 RNN

Long Short Term Memory(LSTM)

-1997년에 Sepp Hochreiter and Jurgen Schmidhuber이 제시

Gated Recurrent Unit(GRU)

-2014년에 제시된 LSTM의 단순화된 버전

 

 

 

GRU

Update gate와 reset gate