LLM 관련 업로드 계획 공유

안녕하세요 비니입니다~
최근 한달 정도 LLM 관련 업무를 하고 있는데요.
업무를 하며 학습한 것, 느낀 것을 업로드하려 합니다 😊
그럼 무엇을 업로드 할 건지 미리보기 해보죠 😉

---

 

무엇을 업로드 할 것인가?

저는 현재 sLLM 을 Instruct tuning 하여 금융사, 보험사 대상 QA 모델을 개발하고 있습니다.

B2B 프로젝트를 했을 때 성능 저하가 발생한 Question 을 분석하여 성능 향상을 위한 실험 설계를 진행중입니다.

때문에 가장 먼저 업로드 할 것은 다음과 같습니다.

 

• 현재 배포된 데이터는 무엇이 있는가? 리스트업
  • 해당 데이터를 하고자 하는 Task 를 위해 학습하기 위해 데이터를 어떻게 변환할 것인가?
• RAG 학습을 위한 코드 분석
  • Huggingface 오픈 소스 분석
  • 학습 코드 샘플 업로드
• 만약 Domain specific Pretrain 모델 개발을 위해선 어떤 방법을 활용해야 하는가?
  • DAPT or TAPT 를 위한 학습 코드 분석
  • 학습 코드 샘플 업로드
• 모델 배포를 위한 방안
  • vLLM 사용 방안 업로드

 

다양한 자료를 살펴보며 직접 겪은 그리고 겪게 될 우여곡절과 해결 방안 및 결과를 차근차근 업로드해보겠습니다.

매주 1회 업로드 할 것을 약속드립니다 😊😊

기대해주세요 !! 😉