GPU 메모리 부족으로 Out of Memory 에러가 발생하면 어떻게 하는가?

개요

Q. GPU 메모리 부족으로 Out of Memory 에러가 발생하면 어떻게 하는가?

A. GPU 메모리가 필요한 데이터를 처리하지 못하기 때문에 배치 사이즈를 줄이거나 모델을 축소해야 합니다.

 

 

내용

GPU 메모리 부족으로 발생하는 Out of Memory (OOM) 에러는 딥러닝 모델을 학습하거나 추론할 때, GPU 메모리(RAM)가 작업에 필요한 데이터를 모두 처리하지 못할 경우 발생합니다. 이는 특히 대규모 데이터와 복잡한 모델을 다룰 때 흔히 나타나는 문제입니다.

 

OOM 에러의 주요 원인은 아래와 같습니다.

• 모델 크기: 모델 파라미터 수가 많거나 복잡한 경우, GPU 메모리 사용량이 증가함
• 배치 사이즈: 한 번에 처리하는 데이터 양이 많을 경우, GPU 메모리가 부족할 수 있음
• 데이터 크기: 고해상도 이미지나 대규모 데이터셋을 사용할 경우 메모리 부담이 커짐
• 메모리 누수: 캐시가 비워지지 않거나 불필요한 텐서가 메모리에 남아 있을 때 문제가 발생함

 

OOM 에러의 해결 방법은 아래와 같습니다.

 

1. 배치 사이즈 줄이기

배치 사이즈를 줄이면 한 번에 처리하는 데이터 양이 감소해 메모리 사용량을 줄일 수 있습니다. 이는 가장 일반적이고 효과적인 방법입니다.

 

2. 모델 축소

모델의 파라미터 수를 줄이거나, 더 작은 모델을 사용하는 방법입니다. 예를 들어, 레이어 수를 줄이거나 유닛 수를 감소시킬 수 있습니다.

 

3. 데이터 크기 조정

고해상도 이미지를 저해상도로 변환하거나, 데이터셋에서 중요도가 낮은 피처를 제거하여 데이터 크기를 줄일 수 있습니다.

 

4. 메모리 관리 개선

TensorFlow와 PyTorch에서는 GPU 메모리 관리 옵션을 활용할 수 있습니다.

• TensorFlow: tf.config.experimental.set_memory_growth()를 사용하여 런타임 시 필요한 메모리만 할당
• PyTorch: torch.cuda.empty_cache()를 호출하여 사용되지 않는 캐시를 비움

 

5. Gradient Accumulation

작은 배치를 여러 번 반복하여 기울기를 누적한 후 한 번에 업데이트하는 방식으로 큰 배치 사이즈를 사용하는 효과를 얻으면서 메모리 사용량을 줄일 수 있습니다.

 

6. Quantization (양자화)

추론 시모델의 가중치와 입력값을 더 작은 비트 크기로 변환하여 메모리 사용량을 절약합니다(예: FP32 대신 FP16 또는 INT8).

 

7. Gradient Checkpointing

Forward pass에서 모든 중간 값을 저장하지 않고 필요할 때 다시 계산하도록 설정하여 메모리 사용량을 줄입니다.