Tensor Parallelism과 Pipeline Parallelism

개요

Tensor Parallelism과 Pipeline Parallelism은 대규모 딥러닝 모델 학습을 위한 상호보완적 병렬화 전략으로, 각각 다른 차원에서 모델을 분할해 처리합니다.

Tensor Parallelism (TP)	Pipeline Parallelism (PP)
대형 텐서 연산 가속화	대규모 모델의 메모리 분산
텐서/행렬 연산 (레이어 내부)	모델 레이어 (레이어 간)
레이어 내부 분할 병렬화	레이어 간 분할 병렬화

 

Tensor Parallelism

모델을 여러 GPU에 분산해 학습하는 기법으로, 모델의 텐서(행렬)를 분할해 병렬 처리함으로써 단일 GPU의 메모리 한계를 극복하고 계산 효율성을 높입니다. Weight Matrix를 여러 GPU로 분산해 연산을 한 후 그 결과값을 합치는(Concatenate) 방식입니다.

대형 텐서 연산 가속화을 목적으로 하며, 행렬 연산 가속화를 통해 메모리 사용 효율성을 향상시킵니다. GPU 간 빈번한 통신이 필요하지만, 행렬 곱셈과 같은 연산을 병렬화해 처리 속도를 높입니다

 

Pipeline Parallelism

모델을 Layer 별로 분할 후 여러 GPU에 학습시켜 딥러닝 학습에서 메모리와 컴퓨팅 효율성을 높입니다.

대규모 모델의 메모리 분산을 목적으로 하기 때문에, 대규모 모델 적재 가능하며 통신 오버헤드가 감소합니다. 레이어 간 의존성으로 인해 버블 시간이 발생하지만, 단일 GPU에 비해 메모리 부담을 줄입니다.