본문 바로가기

전체 글61

Triton Server 환경 구축하기 Triton Server 는 Deep Learning Model 을 Inference 하는데 GPU 자원을 최적으로 할당하여 서비스를 구축하기 편하게 해주는 환경이다. Torch, Tensorflow 와 같은 다양한 framework 를 지원하기 때문에 여러 종류의 모델을 하나의 Docker container 기반으로 배포할 수 있다. 즉, Triton Server 는 Docker container 기반의 Open-source inference serving software 라 할 수 있다. 본 포스팅에서는 실무자의 입장을 고려하여 Triton Server 환경을 구축하는 방법을 다룬다. 실무자의 상황을 고려하며 Docker Image 관리 및 Container 를 편하게 관리하는 노하우에 대해 소개하겠.. 2024. 2. 20.
릴리스 AI 로 영상 요약하기 리서치를 하다 보면 블로그와 같은 Text 정보와 영상으로 된 정보를 만나게 된다. Text 정보는 내가 원하는 부분만 찾으면 되지만 영상은 그렇게 하기 쉽지 않다. 영상의 길이가 길수록 원하는 내용을 찾기는 더욱 어려워진다. 이번 제품 리뷰에서는 이러한 문제를 해결해줄 수 있는 릴리스 AI 를 소개한다. 릴리스 AI 를 어떻게 사용하는지, 그 효율은 어떠한지 직접 사용해 보겠다. 수많은 정보의 파도 속에 릴리스 AI 를 어떻게 사용하면 좋을지 리뷰해 보겠다. 목차 1. 릴리스 AI 란? 2. 결과부터 보여줄게요 3. 어떻게 사용할 수 있을까? 4. 필자 의견 1. 릴리스 AI 란? 유튜브 영상을 요약해 줄 뿐만 아니라 영상 내용을 블로그 글로 작성해 주는 AI 제품이다. 현재는 영상 요약만 가능하지만 .. 2024. 2. 12.
LLM 공부를 위한 계획 벌써 설날이다. 이번 설날에는 휴일이 이틀 주어졌다. 이 기회를 활용해서 LLM 에 대한 공부를 할 계획이다. 어떤 공부를 할 건지 그 리스트와 공부 시간 계획을 공표(?)한다. 반드시 목표를 달성하리라~ Target 독자 : 설날에 목표를 달성하고자 하는 모든 사람 (동기부여가 됐으면 좋겠네요) 목차 1. 어떤 공부를 할 것인가 2. 언제 공부를 할 것인가 1. 어떤 공부를 할 것인가 LLM 학습을 위해 무엇을 알아야할까? 요즈음 LLM 학습은 3가지만 키워드만 알면 된다. Parameter-Efficient Fine-Tuning (a.k.a PEFT) Parallel and Distributed Training Trainer 3가지 키워드에 대한 개념과 어떻게 사용할 수 있는지 방법을 알아야 한다. .. 2024. 2. 9.
[LoRA] 실무자 맞춤 요점 파악하기 지난 포스팅에서는 LoRA 의 기본 개념을 실무자에 맞춰 설명했다. 이번 포스팅에서는 LoRA 가 코드 단에서는 어떻게 구현되어 있는지 실무자 맞춤 요점을 설명하겠다. 수식과 이론적인 논문 리뷰를 원한다면 다른 논문 리뷰 블로그를 참고하기 바란다. Target 독자: Deep Learning 전문가 목차 1. LoRA 에 대한 개념과 용어 사전 2. LoRA 는 어디에 있을까 3. LoRA 의 3가지 저장 형태 4. config setting 1. LoRA 에 대한 개념과 용어 사전 LoRA 에 대한 개념은 필자가 이전에 포스팅한 글을 참고하기 바란다. 링크: [LoRA] 논문 쉽게 설명하기 LoRA 의 요점을 파악하기에 앞서 용어를 먼저 통일하겠다. LoRA_A : {d x r} 차원의 nn.linea.. 2024. 2. 5.
[LoRA] 논문 쉽게 설명하기 21년 여름에 혜성처럼 등장해 최근 2년 동안 LLM 학습을 위해 사용되고 있는 LoRA 를 소개한다. LoRA 를 소개할 때 수식에 대한 내용은 최대한 제거하고 원리는 무엇인지, 모델 구조에서 학습을 위해 LoRA 가 어떻게 활용되는지를 위주로 설명하겠다. 때문에 논문 리뷰같지 않은 리뷰라고 느껴질 수 있다. 수식에 대한 내용이 궁금한 독자는 다른 사람의 논문 리뷰를 참고하기 바란다. Target 독자: Deep Learning 전문가 목차 1. Fully Fine-Tuning 이 힘든 이유 (간략) 2. LoRA 학습 방법 3. ( LoRA_B x LoRA_A ) 는 어디 Pretrain layer weight 에 더해지는가 4. 당연한 마무리 (이런게 좋아요~) 1. Fully Fine-Tuning.. 2024. 2. 1.
LLM 을 Pretrain 학습하려면,, 많은 기업이 ChatGPT 와 같은 LLM 을 만들어 서비스화 하고자 한다. 이를 위해 LLM 을 학습하여 서비스화하는 프로젝트를 수행할 인력을 불철주야 찾고 있다. (고 들었다..) 이번 포스팅은 LLM 을 학습하는 방법 중 가장 원초적인 방법인 Pretrain 이 왜 어려운지, 왜 많은 기업에서 LLM 을 학습할 인력을 구인하는지 그 이유에 대해 알아보겠다. ※ LLM 학습에 관심이 깊은 사람에게 도움이 되는 글임을 유의하길 바란다. 목차 1. Pretrain for LLM 방법s a. Pretrain LLM 처음부터 만들기 b. 배포된 Pretrain LLM 을 base 로 추가 Pretrain 하기 2. 기업이 말하는 '우리'가 만든 LLM 이란 3. 결론 (LLM 전문가를 구인하는 이유) 1. .. 2024. 1. 25.
감마로 발표 자료 만들기 국내외 많은 기업에서 AI 제품을 런칭했다. 뉴스에 많이 나오는 AI 제품들. 필자가 직접 AI 제품을 써보고 리뷰(a.k.a AI써리)해보겠다. 이번 제품은 감마다. 감마를 업무에 활용해 보고 그 효율은 어떠한지 직접 적용해 봤다. 목차 감마란? 이런 경우 다들 겪어보지 않았는가 미리 보는 사용 후기 감마를 활용한 발표 자료 작성 Process 감마 가격 1. 감마란? 감마는 AI 를 활용해 자동으로 발표 자료를 제작할 수 있는 도구이다. 파워포인트뿐만 아니라 웹, 문서 형태 등으로도 제작이 가능하다. 일각에서는 사무직 근로자의 생산성이 엄청나게 향상하는 AI 제품이라 말한다. 감마는 23년도 1분기에 런칭해서 현재까지 알만한 사람들은 알고 사용하고 있는 제품이다. 2. 이런 경우 다들 겪어보지 않았는.. 2024. 1. 23.
[ALiBi] Train Short, Test Long: Attention With Linear Biases Enables Input Length Extrapolation 본 논문에서는 별도의 모델 재학습 없이 모델을 추론할 때 학습할 때의 Max_Length 보다 더 많은 Input Token 을 처리할 수 있는 방법을 제시했다. 이 방법을 줄여서 ALiBi 라 한다. Fine-Tuning 으로 사용되는 LLM 인 LLAMA-2 와 같은 NLG 모델이 ALiBi 와 같은 구조를 사용한다. 적용 모델: Generation Model (LLM 에 적용되어 사용되고 있음) 논문 링크: https://arxiv.org/pdf/2108.12409.pdf 목차 배경 문제 제기 ALiBi 방법 모델의 구조 결론 참고 문헌 1. 배경 ALiBi 는 Positional Embedding Issue 인 Max Length 를 늘려주면 성능 하락이 발생하는 문제를 해결 기존 Transfor.. 2024. 1. 17.
클로바 노트로 회의록 작성하기 국내외 많은 기업에서 AI 제품을 런칭했다. 뉴스에 많이 나오는 AI 제품들. 필자가 직접 AI 제품을 써보고 리뷰(a.k.a AI써리)해보겠다. 이번 제품은 클로바 노트다. 클로바 노트를 업무에 활용해 보고 그 효율은 어떠한지 직접 적용해 봤다. 목차 클로바 노트란? 이런 경우 다들 겪어보지 않았는가 회의록 작성 시간 68% 감소 클로바 노트를 활용한 회의록 작성 Process 클로바 노트 무료 사용 횟수 1. 클로바 노트란? AI 음성 인식 기술을 바탕으로, 텍스트로 변환된 음성 기록을 확인하고 관리하는 서비스다. 클로바 노트 고객센터에서 말하는 클로바 노트를 활용한 예시로는 회의, 강의, 인터뷰, 상담 등 녹음이 필요할 때 대화 내용을 집중해서 듣거나 직접 참여해야 할 때 요약 내용을 확인하거나 필.. 2024. 1. 16.
LLAMA 모델 구조 파악 이전 포스팅에서는 'LLM 을 학습하기 위해 어떻게 학습 데이터를 만들어야 하는지' 에 관해 소개했다. 이번 포스팅은 Backbone 이 되는 LLM 으로 가장 많이 활용되는 LLAMA 모델의 구조에 대해 알아보도록 하겠다. ※ NLP 전문가 Level 의 연구자에게 도움이 되는 글임을 유의하길 바란다. 목차 Model Architecture a. LlamaModel 구조 i. Embedding Layer ii. Decoder Layer b. CausalLM Layer 참고 문서 1. Model Architecture a. LlamaModel 구조 i. Embedding Layer nn.embeding 하나만 사용한다. Encoder 모델의 Embedding layer 와 다르다. Encoder 모델의 .. 2024. 1. 8.
반응형

티스토리툴바