nlp12 [경량화 패키지] TextBrewer scripts info. Main scripts 🗂️TextBrewer |-🗂️src |-🗂️textbrewer |-📄configurations.py # teacher model 기반으로 Student model initial weight 값 설정 # DistillationConfig 의 input 으로 들어감 -IntermediateMatch(type:class) |-📄configurations.py # knowledge distillation 학습을 위한 hyperparameters setting -DistillationConfig(type:class) # distiller define & train script 나열(?)된 script |-📄distillers.py |-📄distiller_general.py -General.. 2022. 6. 17. [경량화 패키지] TextBrewer란? Simple info of Textbrewer lib. 💡 모델 경량화를 위한 함수를 제공해주는 scripts BERT 모델 뿐만 아니라 다양한 모델(ex. GPT, LSTM, etc...) 경량화 가능 Teacher & Student 모델 구조가 달라도 경량화 가능 (ex. Teacher: BERT, Student: LSTM) 다양한 loss function이 있고 사용자가 loss를 append할 수 있도록 코드 구성 Workflow Stage 1: Preparation: 교사 모델 선택 학생 모델 정의 학습 준비 (데이터, optim, lr_scheduler, etc...) Stage 2: Distillation with TextBrewer: TraningConfig 및 DistillationCon.. 2022. 6. 17. 이전 1 2 다음 반응형
