Tech Crunchy

개요Tensor Parallelism과 Pipeline Parallelism은 대규모 딥러닝 모델 학습을 위한 상호보완적 병렬화 전략으로, 각각 다른 차원에서 모델을 분할해 처리합니다.Tensor Parallelism (TP)Pipeline Parallelism (PP)대형 텐서 연산 가속화대규모 모델의 메모리 분산텐서/행렬 연산 (레이어 내부)모델 레이어 (레이어 간)레이어 내부 분할 병렬화레이어 간 분할 병렬화 Tensor Parallelism 모델을 여러 GPU에 분산해 학습하는 기법으로, 모델의 텐서(행렬)를 분할해 병렬 처리함으로써 단일 GPU의 메모리 한계를 극복하고 계산 효율성을 높입니다. Weight Matrix를 여러 GPU로 분산해 연산을 한 후 그 결과값을 합치는(Concatenate..

개요분산학습은 모델 학습을 다수의 노드에 나누어 수행하는 기술로, 대규모 데이터 및 복잡한 모델을 처리할 때 필수적으로 요구되는 방법입니다. 분산학습 유형으로는 Data Parallelism과 Model Parallelism 방식이 있습니다. Data Parallelism: 데이터를 다수의 GPU에 분할Model Parallelism: 모델 파라미터를 다수의 GPU에 분할  Data Parallelism 데이터의 크기가 클 경우, 다수의 GPU에 데이터를 분할하여 연산한 후 최종 업데이트 결과에 대해 평균을 내는 방법입니다. n개의 GPU에 나누어 연산하는 만큼, 분배하거나 결합하기 위해 동기화(Synchronization)하는 과정이 필요합니다. 여기서 동기화 작업은 부가적인 시간이 발생하는 오버헤드로..