전체 글61 [Mathpresso] 회사 및 제품의 방향성 F/U 들어가며,, 매스프레소 회사 및 콴다 제품이 시장에서 어떤 평가를 받고 있는지, 그들의 행보는 어떠한지 등등 꾸준히 팔로업 하기 위해 쓰는 글임을 밝힙니다. '콴다' 운영사 매스프레소, 구글에게 투자받았다 (21.11.10) 인공지능(AI) 스타트업 매스프레소가 글로벌 기업 구글로부터 전략적 투자를 유치했다고 10일 공시했다. AI 기반으로 개인별 맞춤화된 학습 콘텐츠를 제공하는 추천 모델도 개발, 고도화 중이다. 구글은 매스프레소의 풍부한 데이터와 AI 역량을 높이 평가해 투자를 결정한 것으로 알려졌다. 매스프레소는 앞선 올 7월 560억 원 규모의 시리즈 C 투자를 유치했다. 누적 투자액은 1200억 원에 이른다. https://www.hankyung.com/it/article/202111108055.. 2022. 11. 9. [논문 리뷰] Reference and Document Aware Semantic Evaluation Methods for Korean Language Summarization 들어가며,, 본 글은 "Kakao Enterprise AI Research" 블로그 글을 참고하였습니다. 논문을 읽지 않고 블로그 글로 리뷰를 했다는 점을 밝힙니다. 블로그 글 원본 링크는 다음과 같습니다. https://kakaoenterprise.github.io/deepdive/210729 텍스트 요약 모델 성능 평가를 위한 새로운 척도, RDASS를 소개합니다. 더 나은 성능의 요약 모델을 만들려면 모델로부터 자동으로 생성된 요약문을 어느 정도로 신뢰할 수 있는지 판별하기 위한 적절한 평가 방법이 있어야 합니다. 문제는 가장 보편적으로 쓰이는 kakaoenterprise.github.io 기존 요약 task 성능 지표의 한계와 RDASS의 등장 배경 요약 task에서 사용하는 성능 지표는 ROUG.. 2022. 11. 9. [창시모] DP vs DDP 정리 출처: better-tomorrow 님의 tistory 예전 포스팅으로 Multi-GPU 용어 관련 글을 썼다. 해당 글은 여기( link )를 참고하길 바란다. 필자의 글을 보면 마지막에 DP 방식의 학습과 DDP 방식의 학습을 비교 정리한다고 했었다. 그걸 이제 한다,,, DP와 DDP의 설명은 algopoolja님의 블로그를 참고하였다. 관련 글은 다음 링크를 참고하길 바란다. https://algopoolja.tistory.com/95 torch의 데이터 분산 연산(DP 와 DDP) torch parallelism Pytorch 를 사용해 모델을 학습하다 보면 여러가지 병렬화를 사용합니다. 병렬화를 사용하는 이유는 크게 2가지로 나눠볼 수 있습니다. 학습을 더 빨리 끝내기 위해 모델이 너무 커서 .. 2022. 11. 9. SBERT → ONNX 변환 및 Test example 들어가며.. 지난 22년 7월 27일, ONNX 란 무엇인지에 관한 소개 글을 올렸었다. 해당 글은 본 블로그에서 항상 top-1 조회수를 차지했다. 필자 생각에는 많은 회사와 산업에서 인공지능 모델을 서빙하려 하기 때문에 많은 관심을 받았다고 생각한다. 이러한 관심에 힘입어 필자가 진행했던 Sentence-BERT 모델을 ONNX 변환시키는 간단한 예시를 포스팅하고자 한다. Sentence-BERT 특징 ONNX 변환 전, Sentence-BERT의 Input/Output 형태를 알아야 한다. 형태는 다음과 같다. Input: text (ex. '나는 어바웃타임 영화를 좋아합니다.') Output: n차원 vector (ex. [0.1754, 0.7749, ...] 보통 768 차원 사용) Input/.. 2022. 11. 9. [창시모] unittest in python 들어가며,, git을 통해 모델링 개발을 하다보면 소스 코드의 파이프라인을 뜯어 보고 싶을 때가 있다. 전체 flow를 sequence하게 work하기보다는 모듈 단위로 구획을 나누어 확인해보고 싶은 경험이 다들 있을 것이다. 이때 중요한 건 각 모듈이 input 형태는 어떤지, output 형태는 어떤지 알고 있어야 한다는 점이다. 이를 통해 소스 코드 수정 및 업그레이드를 할 수 있다. 본 글에서 소개하는 기능은 파이썬의 단위 테스트인 unittest이다. DaleSeo 님의 블로그 글을 인용 + 필자의 의견을 종합하여 소개하고자 한다. 원본 글은 다음 링크를 확인하길 바란다. https://www.daleseo.com/python-unittest-testcase/#%EB%A7%88%EC%B9%98%.. 2022. 9. 5. NVIDIA AI 개발자 밋업 - 딥 러닝 모델 학습을 위한 End-to-End 가속화 기술 FESTA 에서 진행한 세션으로 학습 및 추론 시간 감소를 위한 기능 소개 목적으로 nvidia에서 발표 (22년 7월 12일) NVIDIA 세션에서 소개한 기능 AMP (Automatic Mixed Precision) Training 가속화를 기대 [’O0’, ‘O1’, ‘O2’, ‘O3’] APEX 분산 학습 DDP for model: model이 크면 gpu device에 model을 n 등분하여 올린 뒤 학습 ASP (Automatic SParsity) inference 가속화를 기대하기 위한 pruning 을 적용하는 기법 https://github.com/NVIDIA/apex/tree/master/apex/contrib/sparsity GitHub - NVIDIA/apex: A PyTorch .. 2022. 9. 1. [키워드] 개발자 용어 정리 2 UseCase https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=suresofttech&logNo=220845781030 유스케이스는 시스템의 동작을 사용자의 입장에서 표현한 시나리오이며, 시스템에 관련한 요구사항을 알아내는 과정이다. 소프트웨어 개발 프로세스 중 개발을 위한 스프트웨어의 기능을 개략적으로 설명이 가능한 방법이기도 하다. 유스케이스는 시스템을 분석하는 사람과 사용할 사람이 함께 시스템의 사용 방법을 결정하는데에 도움을 준다. 유스케이스를 작성할 때 주의해야 할 점은 시스템을 개발하는 사람보다는 사용자의 입장에서 이해하기 쉽고 간단하게 작성되어야 한다는 것이다. IFrame Message http://blog.302ch.. 2022. 9. 1. [논문 리뷰] SimCSE: Simple Contrastive Learning of Sentence Embeddings 들어가며,, 비즈니스에 해당 논문 기술을 적용한다는 마인드로 논문 리뷰를 하기 때문에 논문 연구 결과 파악을 위한 리뷰와는 다소 차이가 있을 수 있음을 미리 말씀드립니다. Simple review for parper Supervised & Unsupervised SimCSE 제안 (21년 4월 발간) Unsupervised SimCSE (자체적으로 label을 만들어 줌) Positive pair: 동일한 문장 embedding layer에 동일한 문장을 넣어 drop out(p=0.1)을 통해 다른 embedding 값을 얻어줌 이러한 drop out 이 최소한의 data augmentation 이라고 함 (다른 방식 ex. 삭제, 대체, etc… 사용해 봤는데 drop out이 성능이 제일 좋았다고 .. 2022. 8. 31. [이모저모] 플랫폼을 만들기 위해서는 무엇이 필요 할까? 들어가며,, 유저에게 편의를 제공하는 어떤 플랫폼을 만들기 위해서는 다양한 기술이 필요하다. 서버 및 데이터를 관리하는 엔지니어, 알고리즘 기술을 만드는 데이터 사이언티스트, 플랫폼과 알고리즘을 연결시키는 백앤드 개발자, 유저에게 화면을 제공하는 프론트앤드 개발자와 UI/UX 전문가, 제품을 홍보하고 판매하는 영업팀 등등... 이 중 데이터 사이언티스트의 역할 기준으로 무엇이 필요한지 정리할겸 포스팅한다. ※ 해당 포스팅의 목적은 언젠간 Edutech 관련 기업으로 이직했을 때를 대비한 공부를 위함이기에 해당 글의 Category는 Education으로 지정했다. What we need ? 필자가 현재 알고 있는 것들을 끄적인다. (아닐수도 있고 높은 확률로 필요한게 더 많을 것이다.) 딥러닝 모델 학습.. 2022. 8. 24. [Mathpresso] 콴다에서 AI 기술 활용 정리 들어가며,, 필자는 edutech 분야에 관심이 많다. 많은 청소년들이 고품질의 수학 교육을 받았으면 좋겠다는 생각이 있기 때문이다. 필자 생각에는 메스프레소 기업이 수학 교육 플랫폼 시장 1위를 달리고 있다고 생각하기 때문에 해당 기업의 연구를 추적하고자 한다. 본 글은 21년 6월 23일 메스프레소 엔지니어인 Sean Park 님께서 콴다 블로그에 기록한 글을 기준으로 정리하였다. 출처: https://blog.mathpresso.com/%EB%A7%A4%EC%8A%A4%ED%94%84%EB%A0%88%EC%86%8C%EC%97%90%EC%84%9C-ai-%EA%B8%B0%EC%88%A0%EC%9D%80-%EC%96%B4%EB%96%BB%EA%B2%8C-%ED%99%9C%EC%9A%A9%EB%90%9.. 2022. 8. 24. 이전 1 2 3 4 5 6 7 다음 반응형
