개요LLM에서 슬라이딩 윈도우 메커니즘(Sliding Window Mechanism)은 긴 시퀸스(문장, 문서 등)를 효율적으로 처리하기 위해 사용되는 기법을 의미합니다. 트랜스포머 기반 모델의 어텐션 계산 비용과 메모리 사용량을 줄이기 위해 도입됩니다. 내용아래 이미지는 셀프 어텐션과 슬라이딩 윈도우를 비교합니다. "The cat is on a chair"라는 시퀸스에 대한 Q, K 값을 매트릭스로 비교했을 때, 셀프 어텐션은 모든 단어(토큰)에 대한 값을 계산하지만 슬라이딩 윈도우는 입력된 윈도우 값 만큼만 계산합니다. 트랜스포머의 셀프 어텐션 메커니즘은 입력 시퀸스의 모든 토큰 쌍에 대해 어텐션을 계산합니다. 입력된 문장 또는 데이터의 각 단어(토큰)가 자기 자신을 포함한 모든 단어들과의 관계(연..
