hfapi1 HuggingFace HUB 로 모델 및 데이터셋 관리하기 LLM 에 대한 연구를 하는 사람이라면 누구나 disk 용량 관리에 어려움을 겪었을거라 생각한다.sLLM 이라도 16bf 인 7~8B 모델의 size 가 14~16GB 가 되기 때문이다.모델을 4개만 저장해도 50GB 가 넘는다.데이터셋 또한 Pretrain 용 Corpus 는 GB 단위이기에 모델뿐만 아니라 데이터셋도 관리해줘야 한다.이번 포스팅은 점점 커지는 Size 의 모델과 데이터셋을 HF(HuggingFace) HUB 로 관리하는 방법을 설명하고자 한다.※ sLLM 에 대한 연구를 하는 사람에게 도움이 되는 글임을 유의하길 바란다. 목차1. Model 을 HF HUB 에 저장하고 불러오기2. 서버의 cache 관리하기3. Dataset 을 HF HUB 에 저장하고 불러오기 1. Model 을 H.. 2024. 9. 3. 이전 1 다음 반응형
