SciCap — 학술 도표 캡션 생성

← AI Engineer

한눈에 보기

Research

도표 이미지·본문·OCR·다른 도표와 캡션을 결합해 저자 문체를 반영하는 장문 캡션 생성 파이프라인을 연구했습니다.

내 역할

연구·개발

기간

2024 — 2025

문제와 목표

도표만 보는 캡션 생성에서 벗어나 논문의 문맥과 작성자의 표현을 함께 반영하고, 생성 품질을 자동으로 선별해야 했습니다.


시스템 구조

주요 요청·처리·저장 경계를 공개 가능한 수준에서 정리했습니다.

  1. 이미지·본문·OCR·참고 캡션을 하나의 학습·추론 입력으로 구성
  2. 생성 결과를 품질 평가 모델로 필터링하고 전문가 평가로 검증

핵심 기여

  • 멀티모달 입력 조합과 데이터 전처리 파이프라인 설계
  • Qwen2.5-VL·LLaVA 파인튜닝과 생성 결과 평가
  • GPT 평가 샘플을 활용한 품질 필터링 모델 개발

결과와 근거

  • IJCAI 2024 SciCap Long Caption Track 1위
  • AAAI 2025 AI4Research 워크숍 채택
  • COLM 2025 SciCap Quality Track 1위

사용 기술

PythonPyTorchQwen2.5-VLLLaVAOCRFine-tuningEvaluation