개요분산학습은 모델 학습을 다수의 노드에 나누어 수행하는 기술로, 대규모 데이터 및 복잡한 모델을 처리할 때 필수적으로 요구되는 방법입니다. 분산학습 유형으로는 Data Parallelism과 Model Parallelism 방식이 있습니다. Data Parallelism: 데이터를 다수의 GPU에 분할Model Parallelism: 모델 파라미터를 다수의 GPU에 분할 Data Parallelism 데이터의 크기가 클 경우, 다수의 GPU에 데이터를 분할하여 연산한 후 최종 업데이트 결과에 대해 평균을 내는 방법입니다. n개의 GPU에 나누어 연산하는 만큼, 분배하거나 결합하기 위해 동기화(Synchronization)하는 과정이 필요합니다. 여기서 동기화 작업은 부가적인 시간이 발생하는 오버헤드로..
