tensorrt2 NVIDIA AI 개발자 밋업 - 딥 러닝 모델 학습을 위한 End-to-End 가속화 기술 FESTA 에서 진행한 세션으로 학습 및 추론 시간 감소를 위한 기능 소개 목적으로 nvidia에서 발표 (22년 7월 12일) NVIDIA 세션에서 소개한 기능 AMP (Automatic Mixed Precision) Training 가속화를 기대 [’O0’, ‘O1’, ‘O2’, ‘O3’] APEX 분산 학습 DDP for model: model이 크면 gpu device에 model을 n 등분하여 올린 뒤 학습 ASP (Automatic SParsity) inference 가속화를 기대하기 위한 pruning 을 적용하는 기법 https://github.com/NVIDIA/apex/tree/master/apex/contrib/sparsity GitHub - NVIDIA/apex: A PyTorch .. 2022. 9. 1. [소개] Deep Learning Compiler 란? 들어가며.. 현대를 살아는 대부분의 사람들이 자주 접하는 AI 기술은 챗봇이지 않을까? 챗봇 기술은 대부분 작은 기기에 내장되어 동작한다. 우리가 흔히 접할 수 있는 예로는 '인공지능 스피커', '시리', '빅스비' 등이 있다. 인공지능을 자주 접한 사람, 그 중 초거대 언어 모델에 대해 조금이라도 들어본 사람이라면 이런 의문이 들 수 있다. '아니 이렇게 작은 기기에서 어떻게 챗봇이 동작할 수 있을까?' 이 의문의 답이 바로 본 포스팅에서 소개할 'Deep Learning Compiler' 이다. 초거대 언어 모델이란? 필자가 포스팅한 아래 링크를 참고하길 바란다. https://beeny-ds.tistory.com/21 [소개] 초거대 언어 모델이란? 들어가며.. 최근 여러 대기업에서 자신들이 만든 .. 2022. 7. 16. 이전 1 다음 반응형
