torch3 [창시모] DP vs DDP 정리 출처: better-tomorrow 님의 tistory 예전 포스팅으로 Multi-GPU 용어 관련 글을 썼다. 해당 글은 여기( link )를 참고하길 바란다. 필자의 글을 보면 마지막에 DP 방식의 학습과 DDP 방식의 학습을 비교 정리한다고 했었다. 그걸 이제 한다,,, DP와 DDP의 설명은 algopoolja님의 블로그를 참고하였다. 관련 글은 다음 링크를 참고하길 바란다. https://algopoolja.tistory.com/95 torch의 데이터 분산 연산(DP 와 DDP) torch parallelism Pytorch 를 사용해 모델을 학습하다 보면 여러가지 병렬화를 사용합니다. 병렬화를 사용하는 이유는 크게 2가지로 나눠볼 수 있습니다. 학습을 더 빨리 끝내기 위해 모델이 너무 커서 .. 2022. 11. 9. SBERT → ONNX 변환 및 Test example 들어가며.. 지난 22년 7월 27일, ONNX 란 무엇인지에 관한 소개 글을 올렸었다. 해당 글은 본 블로그에서 항상 top-1 조회수를 차지했다. 필자 생각에는 많은 회사와 산업에서 인공지능 모델을 서빙하려 하기 때문에 많은 관심을 받았다고 생각한다. 이러한 관심에 힘입어 필자가 진행했던 Sentence-BERT 모델을 ONNX 변환시키는 간단한 예시를 포스팅하고자 한다. Sentence-BERT 특징 ONNX 변환 전, Sentence-BERT의 Input/Output 형태를 알아야 한다. 형태는 다음과 같다. Input: text (ex. '나는 어바웃타임 영화를 좋아합니다.') Output: n차원 vector (ex. [0.1754, 0.7749, ...] 보통 768 차원 사용) Input/.. 2022. 11. 9. [소개] ONNX 란? 들어가며.. Deep learning 모델을 서빙해 본 사람이라면 ONNX를 들어봤으리라 생각한다. ONNX는 다른 DNN 프레임워크 보다 추론 속도가 빠르고 성능도 거의 똑같이 유지된다. 그 외에도 여러 장점들이 존재하기 때문에 많은 데이터 사이언티스트 또는 데이터 분석가들은 ONNX에 대해 알아두면 큰 도움이 될 것이다. ONNX 란? ONNX는 Open Neural Network Exchange의 줄인 말로서 이름과 같이 다른 DNN 프레임워크 환경(ex Tensorflow, PyTorch, etc..)에서 만들어진 모델들을 서로 호환되게 사용할 수 있도록 만들어진 공유 플랫폼이다. ps. ONNX 또한 DNN 프레임워크라고 부른다. ONNX는 다음과 같은 장점을 갖는다. 장점 ① : Framewo.. 2022. 7. 27. 이전 1 다음 반응형
