1. 강의 소개

이번 강의에서는 PyTorch에서 Multi GPU를 사용하기 위해 딥러닝 모델을 병렬화 하는 Model Parallel의 개념과 데이터 로딩을 병렬화하는 Data Parallel의 개념을 학습합니다. 이를 통해 다중 GPU 환경에서 딥러닝을 학습할 때에 효율적으로 하드웨어를 사용할 수 있도록 하고, 더 나아가 딥러닝 학습 시에 GPU가 동작하는 프로세스에 대한 개념을 배웁니다.

2. 강의 키워드

• Model parallel
• Data parallel
• DistributedDataParallel

3. Further Reading

• Pytorch Lightning Multi GPU 학습
• DDP 튜토리얼

4. Further Question

• Multi-GPU 학습을 진행할 때 발생할 수 있는 병목 현상(Bottleneck)은 무엇이 있나요? 그리고 이를 최소화하기 위한 전략은 어떤 것이 있을까요?

5. 강의 영상

6. 강의 자료