EMNLP 2024 투고록 ② - Reviewer rebuttals

금년도 EMNLP 학회에 논문을 투고했습니다~
정확히는 EMNLP Industrial track 에 논문을 투고했는데요 !
논문 작성부터 투고 및 마무리까지 어떤 과정으로 진행이 됐는지 기록을 남기고자 글을 올립니다~
투고록은 총 3개의 게시글로 나눠 작성할 예정입니다.
두 번째로 논문 작성 후 Review 를 어떻게 대응했는지, 대응하는 Tip 은 무엇인지에 대해 상세하게 다루겠습니다.

EMNLP 학회에 논문을 투고하고자 하는 분들께 도움이 되었으면 좋겠네요 :)

 

논문 투고 일정

출처: https://2024.emnlp.org/calls/industry_track/

날짜	일정	설명
24년 7월 18일	논문 제출	논문 제출 마감 날짜
24년 9월 5~11일	Rebuttals	Reviewer 와 저자의 토론 기간
24년 10월 1일	Accept 논문 발표	학회 등록으로 채택된 논문 공지
24년 10월 15일	Final Version 논문 등록	Camera-ready version(최종 제출할) 논문 등록
24년 10월 22일	논문 발표 자료 제출	학회 때 발표할 자료 제출
24년 11월 12~14일	학회 진행	Miami 에서 학회 진행하는 날짜

※ 시간의 기준은 UTF-12 이기 때문에 대한민국보다 21시간 느리다고 생각하시면 됩니다. 예를들어 UTF-12 / 7월 18일 자정까지 논문 제출 마감이라면 대한민국 기준, 7월 19일 오후 9시까지라 생각하시면 됩니다.

UTC-12 시간대는 협정 세계시보다 12시간 늦은 경도 180도를 기준으로 하는 시간대이다. 새해를 가장 늦게 맞이하는 시간대이며, 국제날짜변경선 서부표준시간대(IDLW, International Date Line West time zone)로 부르기도 한다.

• 필자의 논문: 'Language, OCR, Form Independent (LOFI) pipeline for Industrial Document Information Extraction' 

 

자 그럼 Reviewer 와 저자의 토론인 Rebuttals 에 대해 끄적여보겠습니다~

---

1. Reviewer 의 평가

EMNLP 는 총 3명의 Reviewer 가 제출한 논문에 대해 Review 를 작성한다.

각 Reviewer 는 Rating, Confidence 라는 논문의 점수가 있다.

1. Rating
   • 논문의 전반적인 품질과 기여도를 평가
   • 이 점수는 논문의 수용 여부를 결정하는데 중요한 역할을 함
2. Confidence
   • 리뷰어가 자신의 평가에 대해 얼마나 확신하는지를 나타내는 점수
   • 리뷰어의 전문성과 논문 내용에 대한 이해도를 반영

우리 논문의 경우, Rating 은 4/7/5 를, Confidence 는 5/4/4 를 받았다.

각 점수 옆에는 점수에 대한 설명이 있는데 대략 이렇다.

• Rating
  • 4점: Ok but not good enough - rejection
  • 7점: Good paper, accept
  • 5점: Marginally below acceptance threshold
• Confidence
  • 5점: The reviewer is absolutely certain that the evaluation is correct and very familiar with the relevant literature
  • 4점: The reviewer is confident but not absolutely certain that the evaluation is correct
  • 4점: The reviewer is confident but not absolutely certain that the evaluation is correct

 

또한 각 Reviewer 는 논문에 대해 Strengths 와 Weaknesses 를 언급한다.

Rating 이 높을수록, Confidence 가 낮을수록 Strengths 와 Weaknesses 는 Simple 해지는 것 같고,

Rating 이 낮을수록, Confidence 가 높을수록 Strengths 와 Weaknesses 는 Detail 해지고 길어진다.

논문의 저자는 3명의 Reviewer 의 Review 에 대응해야 하는데 이러한 과정을 토론이라는 의미의 Rebuttals 이라 칭한다.

---

2. Rebuttals Tips

Rebuttals 기간에 Review 에 어떻게 대응해야 논문 Accept 이 될 확률이 높아질지에 대해 리서치를 진행했다.

리서치를 통해 알게된, 그리고 실제로 적용한 몇 개의 Tips 을 끄적여본다.

 

먼저 가장 중요한 점은 Reviewer 들의 의심을 해소하고, 질문에 답하며 오해를 바로잡고, 피드백을 성실하게 반영했다는 노오력을 보여줘야 한다. 즉, Reviewer 의 생각이 잘못됐어요~라며 생각을 바꾸기보다는 설득하는 것이 더 중요하다.

1. 리뷰어의 코멘트를 항복별로 정리한다.
   • Review 가 길수록 동일한 Type 의 코멘트가 존재할 확률이 높아진다.
   • Review 에 대해 저자가 이해한 바를 다시금 정리하며 코멘트를 항목별로 정리하여 답변한다.
   • 답변 시 해당 코멘트 항목이 Reviewer 가 언급한 어떤 내용에 부합하는지, 그걸 우리는 어떻게 이해했는지에 대해 간략하게 소개하는 것도 좋다.
2. 초안 반박을 작성한다.
   • Review 에 대한 응답은 글자 제한이 있다. 
   • 처음부터 글자 제한을 맞춰 답변을 작성하기 보다는 일단 길이에 상관 없이 답변을 작성하는것이 좋다.
   • 길이를 줄이는 건 추후에 검토 및 수정을 진행하며 하는걸 추천한다.
3. Reviewer 를 존중하며 Review 에 긍정적으로 답해야 한다.
   • Reviewer 의 노고를 인정해야 한다.
   • 존중받는다는 느낌이 들도록 친절하고 긍정적으로 시작 및 끝 내용을 작성해야 한다.
4. Review 의 모든 사항을 수용할 필요는 없다. 무조건적인 수용보다는 합리적인게 좋다.
   • 논문의 핵심 주제가 잘못 전달되어 Reviewer 가 틀리게 이해했을 수 있다.
   • 논문의 의도를 명백하게 전달하지 못했음을 인정하며 사과하고, Review 에 대한 합리적인 근거를 제시해야 한다.
   • 즉, Review 를 무조건적으로 맞아요~~ 그렇죠~~ 하며 수용하기 보다는 합리적으로 답변하는 것이 좋다. 
   • 만약 논문에 Review 에 대한 내용이 있다면 논문의 어디에 Review 에 대한 내용이 있다고 언급하는 것이 좋다.
5. 백마디 말보다 한 번의 실행이 좋다.
   • 예를들어 통계치나 추가적인 실험을 요구한다면 백마디 말을 통해 답변하기 보다는 수행한 결과를 보여주는것이 좋다.
   • 통계치를 간단하게 제시하거나 실험을 실제로 해보았으나 이러한 결과가 나와서 논문에서는 제거했다. 와 같은 적극적인 대응이 좋다.
   • 백마디 말은 논쟁을 하는 것 같은 느낌을 준다. 실천을 통해 답변해야 한다.
6. 논문에 해당 내용을 추가하겠다는 언급은 Reviewer 가 존중받고 있다는 느낌을 준다.
   • 길이 제한에 의해 모든 답변을 기재하는 것이 제한되는 경우가 많았는데 이러한 경우, 논문에 해당 내용을 추가하겠다는 언급을 하면 Reviewer 가 긍정적인 반응을 보이는 것 같았다.
7. 이러한 답변도 좋다.
   • Reviewer 가 언급한 내용을 우리도 고려해보았고 실험해보았는데 적합하지 않았다. 하지만 그러한 접근은 좋은 아이디어이며 우리는 계속 해당 내용에 대해 연구하고 조사하고 있다.
   • Reviewer 가 언급한 내용은 유익하나 본 논문의 핵심 내용이 무엇인지 헷갈리게 할 수 있어 적극적으로 다루지는 않았다. 하지만 중요한 내용이므로 우리는 해당 내용에 대해 연구하고 조사하고 있다.

Tips 에 대해 한 문장으로 표현하면 다음과 같다.

Reviewer 를 존중하며 모든 Review 에 대응 내지 고려했다는 인상을 줘야 한다.

 

아래 링크는 Rebuttals 에 대한 더 많은 Tip 이 있다.

https://deviparikh.medium.com/how-we-write-rebuttals-dc84742fece1

---

 

마무리,,

Rebuttals 기간에 대부분이 Review 답변을 못 달았는지 13일로 연장되었다.(원래 11일 이었음)

우리는 성실하기도 하고(ㅋㅋ) 1티어 학회 투고가 처음이기도 해서 11일에 맞춰 답변을 달았다.

 

저자의 답변에 Reviewer 가 댓글을 달기도 하는데 대부분 이러한 느낌의 답변이다.

• 설명해주셔서 감사합니다. 이건(Review 내용 중 일부) 이렇게 해주세요.(or final version 논문에 추가해주세요.)

이러한 답변 Comment 에 답답변(?)을 달아도 되나 뭐 굳이 그러지 않아도 된다.

그리고 우리는 초기 Rating 점수를 낮게 준 Reviewer 를 main target 으로 삼았다.

해당 Rebuttals 에 상대적으로 더 집중했던 것 같다.

그러한 전략도 Accept 되는데 한 몫 하지 않았나 싶다.

 

논문 Accept 에 대한 결과는 10월 1일(한국 시간으로 2일)에 메일을 통해 알게 되었고 이후 Final Version(=Camera-ready version) 논문을 작성하였다.

최종적으로 제출하게 될 논문은 기존 6 페이지 제한보다 1 페이지 늘려준 총 7페이지 내에 Review 에 대한 대응을 완벽하게 마무리하여 수정 및 추가 후 제출해야 한다.

다음 포스팅에는 논문 투고록 마지막 게시글인 논문 Accept 이후 Process 에 대해 다루도록 하겠다.