본문 바로가기

전체 글61

LLM 학습을 위한 데이터 생성에 대하여,, 이전 포스팅에서는 LLM 에 관한 전반적인 내용을 비전문가도 이해할 수 있도록 소개했다. 이번 포스팅은 'LLM 을 학습하기 위해 어떻게 학습 데이터를 만들어야 하는지' 에 관해 알아보도록 하겠다. 이전 포스팅과 달리 전문가 Level 의 연구자에게 도움이 되는 글이라는 점을 유의하길 바란다. 목차 sLLM 이란? Supervised Fine-Tuning 의 중요성 학습 데이터 생성 방법 학습된 모델의 예측 경향성 1. sLLM 이란? sLLM 은 small Large Language Models 의 줄인 말이다. 좀 이상하지 않은가? small Large 라는 표현이... 이상해도 어쩔 수 없다. 그냥 LLM 의 수식어로 small 이 들어갔다고 생각하자. LLM 인데 다소 작은 LLM 이라는 의미다... 2023. 12. 29.
ChatGPT Prompt 작성 팁 지난 포스팅에서는 LLM 의 치명적인 이슈인 할루시네이션을 줄이는 방법에 대해 알아봤다. 이번 글은 사용자가 원하는 답변을 얻기 위해 LLM 에 질문하는 방법인 Prompt 팁을 다루고자 한다. 단, 필자의 글은 Prompt 를 어떻게 구성해야 좋은지 경험적인 근거를 바탕으로 작성했음을 유의하길 바란다. 경험적 근거이기 때문에 정량적으로 판단하지 못했다. 지난 포스팅 링크: LLM 의 할루시네이션을 줄이는 방법 ※ 필자가 실제 프로젝트에서 수행한 결과를 바탕으로 Prompt 형식을 추천하였음. 좋은 Prompt 의 근거는 정량적 지표의 기준을 잡기 힘들었기 때문에 경험적 근거에 가까움 Prompt 팁 팁 리스트 Few-Shot Learning 이론은 LLM 의 할루시네이션을 줄이는 방법 에서 In-Con.. 2023. 12. 27.
LLM 의 할루시네이션을 줄이는 방법 지난 포스팅에서는 LLM 을 어떻게 만드는지(=학습하는지), LLM 의 단점은 무엇인지(단점: 할루시네이션) 그리고 할루시네이션을 줄이기 위한 학습 방법은 무엇인지 알아봤다. 이번 글은 LLM 의 단점인 할루시네이션을 줄이기 위한 전략을 다룬다. 전략이기 때문에 LLM 학습이 아닌 점을 참고하길 바란다. 지난 포스팅 링크: LLM 학습에 대한 고찰 ※ 글에서 언급하는 단어에 혼동이 있을 수 있습니다. ['인공지능 모델', 'Generation 모델', '모델'] 이라는 표현은 모두 ChatGPT 와 같은 LLM 을 의미합니다. ['Input', 'Input text'] 의 의미는 LLM 에 들어가는 글(=text)을 의미합니다. ['Output', 'Output text'] 의 의미는 LLM 에서 Inp.. 2023. 12. 27.
LLM 학습에 대한 고찰 ChatGPT 의 등장 이후 LLM 의 인기가 어마어마하다. 필자의 개인적인 생각으로는 2015년 알파고의 파급력보다 ChatGPT 의 파급력이 더 크다고 생각한다. 많은 Tech 기업에서는 자체 기술력으로 LLM 을 만들고 서비스할 수 있다고 광고하고 있다. 본 포스팅에서는 LLM 을 어떻게 학습할 수 있는지, 학습 방법 별 특징은 무엇인지 설명한다. 필자는 LLM 을 효율적으로 활용하기 위해서는 학습 방법을 이해해야 한다고 생각한다. 인공지능 모델은 학습한대로 예측하는 경향성을 띄기 때문이다. ※ 글에서 언급하는 단어에 혼동이 있을 수 있습니다. ['인공지능 모델', 'Generation 모델', '모델'] 이라는 표현은 모두 ChatGPT 와 같은 LLM 을 의미합니다. ['Input', 'Inpu.. 2023. 12. 26.
[쿠버네티스] kubectl 명령어 정리 개발자와 협업 중 쿠버네티스로 관리되는 API 를 사용하는 상황이 생겼다. 무언가 안 될때마다 찾아가는 건 비효율적이라 생각해서 적어도 무엇이 문제인지 알자.! 는 취지로 명령어를 사용했다. 그때 사용한 명령어를 복습차 정리한다. 명령어 간단 정리 쿠버네티스 Version 확인 kubectl version 리소스 생성 ( yaml 파일을 이용 ) kubectl apply -f {파일명} 리소스 목록 확인 kubectl get po # Pod 조회 (리소스 리스트 조회) kubectl get svc # Service 조회 kubectl get deploy # Deployment 조회 kubectl get all # 전부 조회 리소스 상세 조회 kubectl get po # Pod 조회로 이름 검색 kube.. 2023. 11. 5.
API 기초 이해하기 출처: brunch story 님의 블로그 개발자와 일하다보면 용어의 충돌이 발생한다. 간단한 예시로는 데싸가 말하는 아키텍처와 개발자가 말하는 아키텍처의 정의는 다르다. 이러한 용어를 이해할겸, 이러한 용어가 사용되는 분야(?)를 이해할겸 설명이 잘 된 블로그 글을 참고했다. (거의 똑같이 복붙했다.) 해당 블로그는 디자이너로 일하는 분의 블로그로 비개발자의 시선으로 설명이 아주 잘 되어 있다. API 기초 이해하기 를 참고하길 바란다. 감사의 말씀을 전합니다. :) API(Application Programming Interface) 란? API 는 키보드로 설명할 수 있다. 우린 키보드를 통해 컴퓨터를 동작한다. 키보드의 버튼을 누르면 → 키보드에서 컴퓨터로 전달되고 → 스크린에서 텍스트를 볼 수 .. 2023. 10. 29.
NVIDIA Triton 에 대한 고찰 인공지능 모델을 서빙하기 위해 NVIDIA Triton 를 많이 사용한다. NVIDIA Triton 란 무엇인고, 왜 사용하는지, 어떻게 사용하는지에 대한 간단한 설명과 예시를 다룬다. NVIDIA Triton 란 무엇인가? 인공지능 모델은 딥러닝의 발전으로 점점 커지고 성능도 향상되고 있다. 하지만 그만큼 추론 속도는 느려지고 많은 리소스가 필요하다. 더 좋은 GPU 를 사용하면 효과를 볼 수 있지만 많은 비용이 들기 때문에 어떻게 인공지능 모델을 효율적으로 운영할 수 있는지 연구가 계속 되고 있다. 비용을 줄이기 위한 방법으로는 모델 경량화와 같이 인공지능 모델의 크기를 줄이는 방법부터 효율적인 추론을 위한 ONNX, TensorRT 변환 등 다양한 방법이 있다. ONNX, TensorRT 변환의 경.. 2023. 10. 29.
[Mathpresso] 2023년도 ~4월 행보 정리 들어가며,, 매스프레소 회사 및 콴다 제품이 시장에서 어떤 평가를 받고 있는지, 그들의 행보는 어떠한지 등등 꾸준히 팔로업 하기 위해 쓰는 글임을 밝힙니다. 이제 본격적으로 EduTech 쪽으로 이직을 실행하기 위한 준비를 하고 있습니다. EduTech 기업 중 가장 관심이 많은 매스프레소 이직을 꿈꾸며 기업의 행보를 F/U 하고 있습니다. 23년도 4월까지 매스프레소는 어떤 행보를 보였을까요? AI 기반 학습 플랫폼 ‘콴다’, 학교 기출 서비스 대폭 개편… 전국구, 주요 과목 확장 (23.03.30) 작년 11월에 출시한 학교 기출 서비스를 대폭 개편했다. 학교 기출 서비스는 콴다 앱 내에서 중, 고등학교 내신 기출 문제와 해설을 구매할 수 있는 서비스 동네 학원을 통해서만 접근할 수 있었던 내신 기출.. 2023. 4. 22.
[Code review] Transformers Trainer class 기능 정리 Transformers (HuggingFace) 2019 ~ 2020년. BERT 논문이 나온 이후 관련된 오픈 소스 라이브러리는 마치 춘추전국시대가 연상되었다. 유저들은 facebook, nvidia, google 등 많은 곳에서 오픈 소스를 사용했다. 하지만 결국 승리자는 HuggingFace 라고 생각한다. 본 포스팅에서는 2020년도부터 행복하게 사용해온 HuggingFace 의 Transformers 라이브러리 중 학습 Main 모듈인 Trainer Class 를 살펴보려 한다. Gihub Link Documents Link Transformers > Trainer 객체 지정 def __init__( self, model: Union[PreTrainedModel, nn.Module] = None.. 2023. 2. 17.
[Mathpresso] 2022년도 마무리 정리 들어가며,, 매스프레소 회사 및 콴다 제품이 시장에서 어떤 평가를 받고 있는지, 그들의 행보는 어떠한지 등등 꾸준히 팔로업 하기 위해 쓰는 글임을 밝힙니다. 최근 회사에서 제품 개발에 의해 너무 바빠 정말 오랜만에 포스팅합니다. EduTech 에 관심이 많아 매스프레소 이직을 꿈꾸며 기업의 행보를 F/U 하고 있습니다. 22년도 4분기의 매스프레소는 어떤 행보를 보였을까요? 인공지능 학습앱 ‘콴다’ 매스프레소, 시리즈C 770억원, 총 누적 1430억원 유치...글로벌 AI 교육 슈퍼 앱으로! (22.12.13) 13일 매스프레소에 따르면, 이번 투자에는 신세계그룹의 벤처캐피탈 (CVC)인 시그나이트파트너스, 국내 대표 교육기업 YBM이 신규 투자사로 합류하였으며, 기존 투자사인 굿워터 캐피탈, 소프트뱅.. 2023. 2. 12.
반응형

티스토리툴바