Research2024 — 2025
SciCap — 학술 도표 캡션 생성
도표 이미지·본문·OCR·다른 도표와 캡션을 결합해 저자 문체를 반영하는 장문 캡션 생성 파이프라인을 연구했습니다.
01 / OUTCOMES
IJCAI 2024 SciCap Long Caption Track 1위
AAAI 2025 AI4Research 워크숍 채택
COLM 2025 SciCap Quality Track 1위
02 / CONTEXT
왜 만들었는가
도표만 보는 캡션 생성에서 벗어나 논문의 문맥과 작성자의 표현을 함께 반영하고, 생성 품질을 자동으로 선별해야 했습니다.
03 / OWNERSHIP
내가 맡은 일
- 멀티모달 입력 조합과 데이터 전처리 파이프라인 설계
- Qwen2.5-VL·LLaVA 파인튜닝과 생성 결과 평가
- GPT 평가 샘플을 활용한 품질 필터링 모델 개발
04 / SYSTEM
구현과 구조
기능을 나열하기보다 데이터가 들어와 사용자의 결과가 되기까지의 흐름을 기준으로 정리했습니다.
- 이미지·본문·OCR·참고 캡션을 하나의 학습·추론 입력으로 구성
- 생성 결과를 품질 평가 모델로 필터링하고 전문가 평가로 검증
05 / STACK