조선업 온프레미스 LLM 에이전트

← AI Engineer

한눈에 보기

Enterprise AI

외부 반출이 어려운 기업 환경에서 문서·통합 에이전트를 사용할 수 있도록 현장 서버에 모델 서빙과 서비스를 구성했습니다.

내 역할

30%

기간

2026.02 — present

문제와 목표

사내 문서와 업무 시스템을 다루면서도 접근 제한과 오픈소스 모델 조건을 지켜야 하는 PoC였습니다.


시스템 구조

주요 요청·처리·저장 경계를 공개 가능한 수준에서 정리했습니다.

  1. 사내 네트워크 안에서 문서 검색·모델 호출·업무 도구를 분리
  2. 외부 API 의존을 줄이고 GPU 서버 자원에 맞춰 모델을 서빙
  3. PoC 결과를 다음 플랫폼 협의와 운영 작업으로 연결

핵심 기여

  • 현장 요구사항과 에이전트 사용 시나리오를 기술 작업으로 분해
  • 컨테이너 기반 모델 서빙과 API·웹 서비스 배포 구조 구성
  • 데이터 접근 경계와 사용자 요청 흐름을 확인하고 현장 대응

결과와 근거

  • 온프레미스 AI 서비스의 배포·운영 조건을 실제 현장에서 검증
  • 문서 지식과 업무 도구를 에이전트로 연결하는 기반 마련

사용 기술

PythonFastAPIDockerKubernetesOpen-source LLMRAG