Platform & Product2024.01 — present
멀티 LLM AI 서비스 개발·운영
채팅·이미지 생성·회의록 요약을 하나의 서비스 경험으로 묶고, 모델 호출부터 비동기 처리·배포·모니터링까지 운영 가능한 플랫폼으로 만들었습니다.
01 / OUTCOMES
모델과 기능이 늘어도 요청 처리 계층을 재사용할 수 있는 기반 확보
자동 배포·모니터링·고객 환경 디버깅까지 이어지는 운영 경험 축적
02 / CONTEXT
왜 만들었는가
여러 모델과 기능이 빠르게 늘어나는 서비스에서 요청 처리, 모델 교체, 장애 확인, 고객 피드백 반영을 한 흐름으로 관리해야 했습니다.
03 / OWNERSHIP
내가 맡은 일
- 기능 요구사항을 API와 서비스 화면의 작업 단위로 정리
- Kafka로 요청과 처리를 분리하고 Celery·Redis 기반 비동기 작업 구성
- Kubernetes 배포와 모델 서빙 환경, Prometheus·Grafana·Slack 알림 구축
- Gemini·GPT 계열 모델 테스트와 프롬프트·도구 호출 기능 개선
04 / SYSTEM
구현과 구조
기능을 나열하기보다 데이터가 들어와 사용자의 결과가 되기까지의 흐름을 기준으로 정리했습니다.
- 사용자의 요청을 큐에 넣고 작업 유형별 consumer가 모델 호출을 처리
- 장시간 작업은 상태와 결과를 저장해 화면에서 진행 상황을 확인
- 공통 모니터링과 알림으로 배포 이후 장애를 빠르게 추적
05 / STACK