nvidia2 [창시모] DP vs DDP 정리 출처: better-tomorrow 님의 tistory 예전 포스팅으로 Multi-GPU 용어 관련 글을 썼다. 해당 글은 여기( link )를 참고하길 바란다. 필자의 글을 보면 마지막에 DP 방식의 학습과 DDP 방식의 학습을 비교 정리한다고 했었다. 그걸 이제 한다,,, DP와 DDP의 설명은 algopoolja님의 블로그를 참고하였다. 관련 글은 다음 링크를 참고하길 바란다. https://algopoolja.tistory.com/95 torch의 데이터 분산 연산(DP 와 DDP) torch parallelism Pytorch 를 사용해 모델을 학습하다 보면 여러가지 병렬화를 사용합니다. 병렬화를 사용하는 이유는 크게 2가지로 나눠볼 수 있습니다. 학습을 더 빨리 끝내기 위해 모델이 너무 커서 .. 2022. 11. 9. NVIDIA AI 개발자 밋업 - 딥 러닝 모델 학습을 위한 End-to-End 가속화 기술 FESTA 에서 진행한 세션으로 학습 및 추론 시간 감소를 위한 기능 소개 목적으로 nvidia에서 발표 (22년 7월 12일) NVIDIA 세션에서 소개한 기능 AMP (Automatic Mixed Precision) Training 가속화를 기대 [’O0’, ‘O1’, ‘O2’, ‘O3’] APEX 분산 학습 DDP for model: model이 크면 gpu device에 model을 n 등분하여 올린 뒤 학습 ASP (Automatic SParsity) inference 가속화를 기대하기 위한 pruning 을 적용하는 기법 https://github.com/NVIDIA/apex/tree/master/apex/contrib/sparsity GitHub - NVIDIA/apex: A PyTorch .. 2022. 9. 1. 이전 1 다음 반응형
