한눈에 보기
Research
도표 이미지·본문·OCR·다른 도표와 캡션을 결합해 저자 문체를 반영하는 장문 캡션 생성 파이프라인을 연구했습니다.
내 역할
연구·개발
기간
2024 — 2025
문제와 목표
도표만 보는 캡션 생성에서 벗어나 논문의 문맥과 작성자의 표현을 함께 반영하고, 생성 품질을 자동으로 선별해야 했습니다.
시스템 구조
주요 요청·처리·저장 경계를 공개 가능한 수준에서 정리했습니다.
- 이미지·본문·OCR·참고 캡션을 하나의 학습·추론 입력으로 구성
- 생성 결과를 품질 평가 모델로 필터링하고 전문가 평가로 검증
핵심 기여
- 멀티모달 입력 조합과 데이터 전처리 파이프라인 설계
- Qwen2.5-VL·LLaVA 파인튜닝과 생성 결과 평가
- GPT 평가 샘플을 활용한 품질 필터링 모델 개발
결과와 근거
- IJCAI 2024 SciCap Long Caption Track 1위
- AAAI 2025 AI4Research 워크숍 채택
- COLM 2025 SciCap Quality Track 1위