긴 정보를 잊지 않는 신경망, LSTM

LSTM(Long Short-Term Memory)은 RNN의 구조를 개선한 신경망입니다.

기본적인 RNN은 과거 정보를 기억할 수 있지만, 시간이 오래 지나면 예전 정보를 잊어버리는 문제가 있습니다.

LSTM은 이 문제를 해결하기 위해 만들어졌으며, 오랜 시간 동안 중요한 정보를 유지할 수 있는 구조를 가지고 있습니다.

기존 RNN은 문장이 길어질수록 앞에서 입력된 정보를 뒤로 전달하는 데 어려움을 겪습니다.

예를 들어 긴 문장에서 주어와 동사가 멀리 떨어져 있으면, RNN은 그 관계를 기억하지 못해 정확한 예측을 하지 못할 수 있습니다.

LSTM은 이 문제를 해결하기 위해 기억 셀(Cell state)이라는 개념을 도입했습니다.

이 셀은 중요한 정보를 장기간 유지하고, 필요 없는 정보는 지우는 방식으로 작동합니다.

LSTM은 기본적으로 RNN과 비슷하게 시간에 따라 입력을 순차적으로 처리합니다. 하지만 내부 구조는 더 복잡합니다.

핵심 구성 요소는 다음과 같습니다.

• 셀 상태 (Cell State): 정보를 길게 보관하는 역할을 하는 선처럼 흐르는 값입니다. 이 값은 필요한 정보만 남기고 불필요한 정보는 지우면서 시간에 따라 업데이트됩니다.

• 게이트 (Gates): 정보를 얼마나 유지하고, 얼마나 버릴지를 결정하는 장치입니다. 각각의 게이트는 작은 신경망으로 구성되어 있습니다.

LSTM은 다음과 같은 세 가지 게이트를 사용합니다.

• 입력 게이트: 새로운 정보를 얼마나 셀에 저장할지 결정합니다.

• 망각 게이트 (Forget Gate): 기존 정보 중 어떤 부분을 지울지 결정합니다.

• 출력 게이트: 최종적으로 어떤 정보를 다음 단계로 보낼지 결정합니다.

이러한 게이트 구조 덕분에 LSTM은 중요한 정보를 오랫동안 기억할 수 있고, 필요 없는 정보는 자연스럽게 제거할 수 있습니다.

LSTM은 다음과 같은 과정을 거쳐 동작합니다.

1. 이전 셀 상태와 현재 입력을 바탕으로 어떤 정보를 유지하고 어떤 정보를 지울지 판단합니다.

2. 입력 게이트를 통해 새로운 정보를 셀에 저장하고, 기존 셀 상태를 업데이트합니다.

3. 출력 게이트를 통해 현재 시점에서 필요한 정보를 출력하며 다음 단계로 넘깁니다.

이 과정을 반복하면서 LSTM은 순차적인 데이터를 처리하고, 긴 문장이나 복잡한 시간 흐름 속에서도 의미 있는 정보를 유지할 수 있습니다.

다음 수업에서는 LSTM과 비슷하지만 구조가 더 단순한 GRU에 대해 알아보겠습니다.