본문 바로가기

Natural Language Processing43

[VLM] Qwen2.5-VL 모델 구조 파악 및 테스트 Vision-Language Model(VLM)은 Text-to-Text 와 같이 LLM 역할부터 OCR, Object Detection 과 같은 Vision 관련 Task까지 다양한 역할을 수행할 수 있다. 특히 Document Understanding Task 도 대체할 수 있기 때문에 기존에는 n 개의 모델이 필요했던 서비스를 하나의 모델로 대체할 수 있다.이러한 VLM 은 Cross-Modal 로서 Vision 정보와 Text 정보를 병합하여 분석한 결과를 Text 로 return 한다.본 포스팅에서는 VLM 중 성능이 좋기로 소문난 모델인 Qwen-VL 모델 시리즈에 대한 비교와 Qwen2.5-VL 모델의 구조를 확인하고자 한다. 추가적으로 Qwen2.5-VL 모델과 Qwen3-VL 모델의 성능.. 2026. 3. 17.
[VLM] LLaVA 모델 구조 파악 Vision-Language Model(VLM)은 Text-to-Text 와 같이 LLM 역할부터 OCR, Object Detection 과 같은 Vision 관련 Task까지 다양한 역할을 수행할 수 있다. 특히 Document Understand Task 도 대체할 수 있기 때문에 기존에는 n 개의 모델이 필요했던 서비스를 하나의 모델로 대체할 수 있다.이러한 VLM 은 Cross-Modal 로서 Vision 정보와 Text 정보를 병합하여 분석한 결과를 Text 로 return 한다.본 포스팅에서는 VLM 중 초창기 모델인 LLaVA 모델의 구조와 Vision&Text 처리 및 병합 방법을 상세하게 확인하고자 한다.목차1. LLaVA 모델 구조 설명2. 텍스트 처리 과정3. 이미지 처리 과정4. 텍.. 2026. 3. 17.
[논문 리뷰] Think Together and Work Better: Combining Humans’ and LLMs’ Think-Aloud Outcomes for Effective Text Evaluation 교육부 및 각 교육청, 평가원, 심지어 국가교육위원회 및 대학수학능력시험본부까지 서·논술형 평가의 중요성이 대두되고 있다. 서·논술형 평가는 초등부터 고등까지 전 과목에 적용되어 평가할 수 있도록 공교육에 적용될 예정이라 한다.이에 EduTech 기업들은 선생님들의 서·논술형 평가를 지원하기 위한 시스템을 개발하여 현장에 적용할 준비(or 진행)를 하고 있다고 한다.필자도 이를 연구하고자 서·논술형 평가와 관련된 논문들을 리뷰하고자 한다.필자와 동일한 배경으로 서·논술형 평가를 연구하고 있다면 앞으로의 논문 리뷰 포스팅을 참고하기 바란다.본 포스팅을 포함해서 총 7개의 서·논술형 평가 관련 논문 리뷰를 진행할 예정이다.특히 포스팅 마지막에 필자가 생각하는 논문의 Pros & Cons 를 작성했으니 참고하.. 2026. 1. 28.
[RL] Group reward-Decoupled Normalization Policy Optimization(GDPO) 코드로 설명하기 지난 포스팅에서는 DPO & PPO & GRPO 에서 loss 를 구하는 방법을 코드와 이론 관점으로 쉽게 설명하고자 하였다.본 포스팅은 GRPO 의 한계를 언급하며 보완된 방법을 제시한 GDPO 의 대해 코드를 설명하고자 한다.포스팅 맨 마지막에 필자가 GDPO 를 보면서 생각한 바가 있으니 이 또한 참고하기 바란다. ※ 시작하기에 앞서 필자의 이전 포스팅을 먼저 보는걸 추천한다.[RL] Direct Preference Optimization(DPO) 쉽게 설명하기[RL] Proximal Policy Optimization(PPO) 쉽게 설명하기[RL] Group Relative Policy Optimization(GRPO) 쉽게 설명하기 참고 링크: trl-GDPO/trl-0.18.0-gdpo/trl.. 2026. 1. 23.
[RL] Direct Preference Optimization(DPO) 쉽게 설명하기 지난 포스팅에서는 PPO & GRPO 에서 loss 를 구하는 방법을 코드와 이론 관점으로 쉽게 설명하고자 하였다.본 포스팅은 DPO 알고리즘에 대해 마찬가지로 loss 구하는 방법을 코드와 이론 관점으로 쉽게 설명하고자 한다.포스팅 맨 마지막에 필자가 DPO 를 공부하면서 스스로 질문한 바가 있으니 이 또한 참고하기 바란다. 개인적으로 독자들에게 이 내용이 가장 큰 인사이트가 되지 않을까 생각한다.※ 시작하기에 앞서 필자의 이전 포스팅을 먼저 보는걸 추천한다.[RL] Proximal Policy Optimization(PPO) 쉽게 설명하기[RL] Group Relative Policy Optimization(GRPO) 쉽게 설명하기 참고 링크: trl/trainer/dpo_trainer.py본 포스팅.. 2026. 1. 20.
[RL] Proximal Policy Optimization(PPO) 쉽게 설명하기 지난 포스팅에서는 GRPO 에서 loss 를 구하는 방법을 코드와 이론 관점으로 쉽게 설명하고자 하였다.본 포스팅은 GRPO 탄생의 배경이 된 PPO 알고리즘에 대해 마찬가지로 loss 구하는 방법을 코드와 이론 관점으로 쉽게 설명하고자 한다.포스팅 맨 마지막에 필자가 PPO 를 공부하면서 스스로 질문한 바가 있으니 이 또한 참고하기 바란다. 개인적으로 독자들에게 이 내용이 가장 큰 인사이트가 되지 않을까 생각한다.※ 시작하기에 앞서 필자의 이전 포스팅을 먼저 보는걸 추천한다.[RL] Group Relative Policy Optimization(GRPO) 쉽게 설명하기 참고 링크: trl/experimental/ppo/ppo_trainer.py본 포스팅은 PPO 논문과 TRL 내 PPO 학습 코드 중 .. 2026. 1. 17.
[RL] Group Relative Policy Optimization(GRPO) 쉽게 설명하기 LLM 을 RL 으로 학습하면 성능 개선에 큰 도움이 된다는 사실은 요즘 DL 을 하는 사람들이라면 모두 안다.하지만 모든 데이터 사이언티스트가 PPO, DPO, GRPO 와 같은 학습 방식이 정확히 어떻게 구현되었는지 상세하게 알고 있지는 않다.하여 본 포스팅은 LLM 을 GRPO 로 학습 시 어떻게 loss 를 정의하는지 학습 방향에 대해 쉽게 설명하고자 한다.포스팅 맨 마지막에 필자가 GRPO 를 공부하면서 스스로 질문한 바가 있으니 이 또한 참고하기 바란다.ps. 필자는 재작년 말부터 작년까지 결혼 준비로 인해 LLM 을 RL 로 학습하는 로직에 대해 공부하지 못 했다... 뒤늦게 부랴부랴 하고 있다. 본 포스팅인 GRPO 를 시작으로 DPO, PPO 등과 같은 RL 학습 로직과 Simple 구현.. 2026. 1. 13.
EMNLP 2024 투고록 ③ - 논문 발표 금년도 EMNLP 학회에 논문을 투고했습니다~정확히는 EMNLP Industrial track 에 논문을 투고했는데요 !논문 작성부터 투고 및 마무리까지 어떤 과정으로 진행이 됐는지 기록을 남기고자 글을 올립니다~투고록은 총 3개의 게시글로 나눠 작성할 예정입니다.마지막으로 논문 Accept 후 논문 발표를 어떻게 준비했는지에 대해 상세하게 다루겠습니다.EMNLP 학회에 논문을 투고하고자 하는 분들께 도움이 되었으면 좋겠네요 :) 논문 투고 일정출처: https://2024.emnlp.org/calls/industry_track/날짜일정설명24년 7월 18일논문 제출논문 제출 마감 날짜24년 9월 5~11일RebuttalsReviewer 와 저자의 토론 기간24년 10월 1일Accept 논문 발표학회 등.. 2024. 11. 8.
EMNLP 2024 투고록 ② - Reviewer rebuttals 금년도 EMNLP 학회에 논문을 투고했습니다~정확히는 EMNLP Industrial track 에 논문을 투고했는데요 !논문 작성부터 투고 및 마무리까지 어떤 과정으로 진행이 됐는지 기록을 남기고자 글을 올립니다~투고록은 총 3개의 게시글로 나눠 작성할 예정입니다.두 번째로 논문 작성 후 Review 를 어떻게 대응했는지, 대응하는 Tip 은 무엇인지에 대해 상세하게 다루겠습니다.EMNLP 학회에 논문을 투고하고자 하는 분들께 도움이 되었으면 좋겠네요 :) 논문 투고 일정출처: https://2024.emnlp.org/calls/industry_track/날짜일정설명24년 7월 18일논문 제출논문 제출 마감 날짜24년 9월 5~11일RebuttalsReviewer 와 저자의 토론 기간24년 10월 1일A.. 2024. 11. 4.
EMNLP 2024 투고록 ① - 논문 작성 Process 금년도 EMNLP 학회에 논문을 투고했습니다~정확히는 EMNLP Industrial track 에 논문을 투고했는데요 !논문 작성부터 투고 및 마무리까지 어떤 과정으로 진행이 됐는지 기록을 남기고자 글을 올립니다~투고록은 총 3개의 게시글로 나눠 작성할 예정입니다.먼저 논문 작성 Process 에 대해 상세하게 다루겠습니다.EMNLP 학회에 논문을 투고하고자 하는 분들께 도움이 되었으면 좋겠네요 :) 논문 투고 일정출처: https://2024.emnlp.org/calls/industry_track/날짜일정설명24년 7월 18일논문 제출논문 제출 마감 날짜24년 9월 5~11일RebuttalsReviewer 와 저자의 토론 기간24년 10월 1일Accept 논문 발표학회 등록으로 채택된 논문 공지24년 .. 2024. 11. 2.
반응형

티스토리툴바