본문 바로가기

Contents77

[쿠버네티스] kubectl 명령어 정리 개발자와 협업 중 쿠버네티스로 관리되는 API 를 사용하는 상황이 생겼다. 무언가 안 될때마다 찾아가는 건 비효율적이라 생각해서 적어도 무엇이 문제인지 알자.! 는 취지로 명령어를 사용했다. 그때 사용한 명령어를 복습차 정리한다. 명령어 간단 정리 쿠버네티스 Version 확인 kubectl version 리소스 생성 ( yaml 파일을 이용 ) kubectl apply -f {파일명} 리소스 목록 확인 kubectl get po # Pod 조회 (리소스 리스트 조회) kubectl get svc # Service 조회 kubectl get deploy # Deployment 조회 kubectl get all # 전부 조회 리소스 상세 조회 kubectl get po # Pod 조회로 이름 검색 kube.. 2023. 11. 5.
API 기초 이해하기 출처: brunch story 님의 블로그 개발자와 일하다보면 용어의 충돌이 발생한다. 간단한 예시로는 데싸가 말하는 아키텍처와 개발자가 말하는 아키텍처의 정의는 다르다. 이러한 용어를 이해할겸, 이러한 용어가 사용되는 분야(?)를 이해할겸 설명이 잘 된 블로그 글을 참고했다. (거의 똑같이 복붙했다.) 해당 블로그는 디자이너로 일하는 분의 블로그로 비개발자의 시선으로 설명이 아주 잘 되어 있다. API 기초 이해하기 를 참고하길 바란다. 감사의 말씀을 전합니다. :) API(Application Programming Interface) 란? API 는 키보드로 설명할 수 있다. 우린 키보드를 통해 컴퓨터를 동작한다. 키보드의 버튼을 누르면 → 키보드에서 컴퓨터로 전달되고 → 스크린에서 텍스트를 볼 수 .. 2023. 10. 29.
NVIDIA Triton 에 대한 고찰 인공지능 모델을 서빙하기 위해 NVIDIA Triton 를 많이 사용한다. NVIDIA Triton 란 무엇인고, 왜 사용하는지, 어떻게 사용하는지에 대한 간단한 설명과 예시를 다룬다. NVIDIA Triton 란 무엇인가? 인공지능 모델은 딥러닝의 발전으로 점점 커지고 성능도 향상되고 있다. 하지만 그만큼 추론 속도는 느려지고 많은 리소스가 필요하다. 더 좋은 GPU 를 사용하면 효과를 볼 수 있지만 많은 비용이 들기 때문에 어떻게 인공지능 모델을 효율적으로 운영할 수 있는지 연구가 계속 되고 있다. 비용을 줄이기 위한 방법으로는 모델 경량화와 같이 인공지능 모델의 크기를 줄이는 방법부터 효율적인 추론을 위한 ONNX, TensorRT 변환 등 다양한 방법이 있다. ONNX, TensorRT 변환의 경.. 2023. 10. 29.
[Mathpresso] 2023년도 ~4월 행보 정리 들어가며,, 매스프레소 회사 및 콴다 제품이 시장에서 어떤 평가를 받고 있는지, 그들의 행보는 어떠한지 등등 꾸준히 팔로업 하기 위해 쓰는 글임을 밝힙니다. 이제 본격적으로 EduTech 쪽으로 이직을 실행하기 위한 준비를 하고 있습니다. EduTech 기업 중 가장 관심이 많은 매스프레소 이직을 꿈꾸며 기업의 행보를 F/U 하고 있습니다. 23년도 4월까지 매스프레소는 어떤 행보를 보였을까요? AI 기반 학습 플랫폼 ‘콴다’, 학교 기출 서비스 대폭 개편… 전국구, 주요 과목 확장 (23.03.30) 작년 11월에 출시한 학교 기출 서비스를 대폭 개편했다. 학교 기출 서비스는 콴다 앱 내에서 중, 고등학교 내신 기출 문제와 해설을 구매할 수 있는 서비스 동네 학원을 통해서만 접근할 수 있었던 내신 기출.. 2023. 4. 22.
[Code review] Transformers Trainer class 기능 정리 Transformers (HuggingFace) 2019 ~ 2020년. BERT 논문이 나온 이후 관련된 오픈 소스 라이브러리는 마치 춘추전국시대가 연상되었다. 유저들은 facebook, nvidia, google 등 많은 곳에서 오픈 소스를 사용했다. 하지만 결국 승리자는 HuggingFace 라고 생각한다. 본 포스팅에서는 2020년도부터 행복하게 사용해온 HuggingFace 의 Transformers 라이브러리 중 학습 Main 모듈인 Trainer Class 를 살펴보려 한다. Gihub Link Documents Link Transformers > Trainer 객체 지정 def __init__( self, model: Union[PreTrainedModel, nn.Module] = None.. 2023. 2. 17.
[Mathpresso] 2022년도 마무리 정리 들어가며,, 매스프레소 회사 및 콴다 제품이 시장에서 어떤 평가를 받고 있는지, 그들의 행보는 어떠한지 등등 꾸준히 팔로업 하기 위해 쓰는 글임을 밝힙니다. 최근 회사에서 제품 개발에 의해 너무 바빠 정말 오랜만에 포스팅합니다. EduTech 에 관심이 많아 매스프레소 이직을 꿈꾸며 기업의 행보를 F/U 하고 있습니다. 22년도 4분기의 매스프레소는 어떤 행보를 보였을까요? 인공지능 학습앱 ‘콴다’ 매스프레소, 시리즈C 770억원, 총 누적 1430억원 유치...글로벌 AI 교육 슈퍼 앱으로! (22.12.13) 13일 매스프레소에 따르면, 이번 투자에는 신세계그룹의 벤처캐피탈 (CVC)인 시그나이트파트너스, 국내 대표 교육기업 YBM이 신규 투자사로 합류하였으며, 기존 투자사인 굿워터 캐피탈, 소프트뱅.. 2023. 2. 12.
[Mathpresso] 회사 및 제품의 방향성 F/U 들어가며,, 매스프레소 회사 및 콴다 제품이 시장에서 어떤 평가를 받고 있는지, 그들의 행보는 어떠한지 등등 꾸준히 팔로업 하기 위해 쓰는 글임을 밝힙니다. '콴다' 운영사 매스프레소, 구글에게 투자받았다 (21.11.10) 인공지능(AI) 스타트업 매스프레소가 글로벌 기업 구글로부터 전략적 투자를 유치했다고 10일 공시했다. AI 기반으로 개인별 맞춤화된 학습 콘텐츠를 제공하는 추천 모델도 개발, 고도화 중이다. 구글은 매스프레소의 풍부한 데이터와 AI 역량을 높이 평가해 투자를 결정한 것으로 알려졌다. 매스프레소는 앞선 올 7월 560억 원 규모의 시리즈 C 투자를 유치했다. 누적 투자액은 1200억 원에 이른다. https://www.hankyung.com/it/article/202111108055.. 2022. 11. 9.
[논문 리뷰] Reference and Document Aware Semantic Evaluation Methods for Korean Language Summarization 들어가며,, 본 글은 "Kakao Enterprise AI Research" 블로그 글을 참고하였습니다. 논문을 읽지 않고 블로그 글로 리뷰를 했다는 점을 밝힙니다. 블로그 글 원본 링크는 다음과 같습니다. https://kakaoenterprise.github.io/deepdive/210729 텍스트 요약 모델 성능 평가를 위한 새로운 척도, RDASS를 소개합니다. 더 나은 성능의 요약 모델을 만들려면 모델로부터 자동으로 생성된 요약문을 어느 정도로 신뢰할 수 있는지 판별하기 위한 적절한 평가 방법이 있어야 합니다. 문제는 가장 보편적으로 쓰이는 kakaoenterprise.github.io 기존 요약 task 성능 지표의 한계와 RDASS의 등장 배경 요약 task에서 사용하는 성능 지표는 ROUG.. 2022. 11. 9.
[창시모] DP vs DDP 정리 출처: better-tomorrow 님의 tistory 예전 포스팅으로 Multi-GPU 용어 관련 글을 썼다. 해당 글은 여기( link )를 참고하길 바란다. 필자의 글을 보면 마지막에 DP 방식의 학습과 DDP 방식의 학습을 비교 정리한다고 했었다. 그걸 이제 한다,,, DP와 DDP의 설명은 algopoolja님의 블로그를 참고하였다. 관련 글은 다음 링크를 참고하길 바란다. https://algopoolja.tistory.com/95 torch의 데이터 분산 연산(DP 와 DDP) torch parallelism Pytorch 를 사용해 모델을 학습하다 보면 여러가지 병렬화를 사용합니다. 병렬화를 사용하는 이유는 크게 2가지로 나눠볼 수 있습니다. 학습을 더 빨리 끝내기 위해 모델이 너무 커서 .. 2022. 11. 9.
SBERT → ONNX 변환 및 Test example 들어가며.. 지난 22년 7월 27일, ONNX 란 무엇인지에 관한 소개 글을 올렸었다. 해당 글은 본 블로그에서 항상 top-1 조회수를 차지했다. 필자 생각에는 많은 회사와 산업에서 인공지능 모델을 서빙하려 하기 때문에 많은 관심을 받았다고 생각한다. 이러한 관심에 힘입어 필자가 진행했던 Sentence-BERT 모델을 ONNX 변환시키는 간단한 예시를 포스팅하고자 한다. Sentence-BERT 특징 ONNX 변환 전, Sentence-BERT의 Input/Output 형태를 알아야 한다. 형태는 다음과 같다. Input: text (ex. '나는 어바웃타임 영화를 좋아합니다.') Output: n차원 vector (ex. [0.1754, 0.7749, ...] 보통 768 차원 사용) Input/.. 2022. 11. 9.
반응형

티스토리툴바