한눈에 보기
AI Engineering · Platform Architecture
개인 사용자를 위한 B2C 기능과 팀·기업을 위한 B2B 업무 기능을 하나의 AI 업무 워크스페이스로 연결했습니다. 멀티 LLM 채팅·AI 검색·딥리서치·회의록·번역·이미지 생성·문서 관리를 하나의 서비스에서 제공했습니다.
Technical Lead · AI 엔지니어링 및 플랫폼 아키텍처 리딩
2024.01 — present
초기 기획과 기술 방향 조율부터 AI 실행 계층·온프레미스 인프라 구축, 배포·운영까지 담당했습니다.
초기 서비스 기획과 구축부터 시작해 개인 생산성 기능을 팀 공유·기업 문서·권한·온프레미스 환경으로 확장해야 했습니다. 기능마다 다른 모델과 처리 시간이 필요한 상황에서도 사용자는 하나의 업무 흐름으로 이용할 수 있어야 했습니다.
시스템 구조
기능마다 달랐던 모델과 처리 시간을 하나의 요청·작업·결과 흐름으로 연결했습니다.
내 설계·구축 범위 팀과 함께 개발·운영한 서비스의 기술 구성
- REQUEST요청 접수
FastAPI · 사용자 요청과 워크스페이스 처리
- DISPATCH비동기 작업 전달
Kafka · 요청 접수와 AI 실행 분리
- EXECUTION기능별 AI 실행
AI consumer · 모델 호출·검색·문서 처리
Redis · MongoDB / 작업 상태 관리와 결과 조회
vLLM / GPU 자원에 맞춘 모델 실행 환경
배포·운영 · 온프레미스 네트워크 / Kubernetes / GPU 서빙 / 관측성
핵심 기여
팀과 함께 만든 서비스에서 제가 맡은 핵심은 AI 기능의 실행 구조와 운영 기반이었습니다. 아래는 그 과정에서 직접 내린 설계 판단입니다.
서로 다른 AI 기능의 공통 실행 흐름 연결
채팅·검색·문서·회의·번역·이미지 기능마다 모델과 입력·출력 형식이 달라 기능이 늘수록 API와 실행 흐름이 분산될 수 있었습니다.
공통 요청·작업·결과 흐름을 정의하고 기능별 처리 로직을 분리했습니다.
모델 호출과 스트리밍, 결과 저장을 기능별 AI consumer에 연결했습니다. 채팅·검색·문서 처리의 내부 구현이 달라도 같은 워크스페이스에서 요청하고 결과를 확인할 수 있도록 구성했습니다.
달라진 점새로운 AI 기능을 별도 제품으로 만들지 않고 기존 요청·작업·결과 흐름에 연결할 수 있는 기반을 만들었습니다.
장시간 AI 작업의 비동기 처리·상태 조회
딥리서치·문서 처리·회의록처럼 처리 시간이 긴 작업을 일반 동기 API처럼 다루면 요청이 오래 붙잡히고 사용자가 현재 상태를 알기 어려웠습니다.
요청 접수와 AI 실행을 분리하고, 처리 상태를 조회할 수 있도록 설계했습니다.
FastAPI API가 요청을 받고 Kafka topic·consumer가 작업을 처리하도록 분리했습니다. Redis lock·pub/sub과 MongoDB 상태 저장을 조합하고, 스트리밍과 진행 상태·결과 조회 흐름을 구현했습니다.
달라진 점사용자는 작업이 진행 중인지, 완료됐는지, 결과를 다시 확인할 수 있게 되었고 기능별 처리 시간이 달라도 동일한 제품 경험을 유지할 수 있었습니다.
기업 환경을 위한 온프레미스 배포·운영
기업 문서와 업무 데이터를 외부로 보내기 어려운 환경에서는 모델·API·네트워크를 현장 조건에 맞게 직접 구성해야 했습니다.
네트워크 경계와 GPU 자원 조건을 배포 설계에 함께 반영했습니다.
온프레미스 네트워크 경계와 Nginx·TLS·컨테이너·Kubernetes 배포 구조를 구성하고, GPU 자원 조건에 맞춰 vLLM OpenAI-compatible endpoint를 구축했습니다. Prometheus·Grafana·OpenTelemetry로 서비스와 모델 상태를 관측했습니다.
달라진 점개인용 기능에서 출발한 서비스를 기업 맞춤·온프레미스 환경까지 확장하고 운영할 수 있는 기반을 확보했습니다.
결과와 근거
- 채팅·검색·문서·회의·번역·이미지 기능을 같은 워크스페이스에서 요청하고 결과를 확인할 수 있게 했습니다.
- 장시간 작업의 진행 상태와 완료 결과를 조회할 수 있도록 실행·응답 흐름을 구현했습니다.
- 개인·팀 대상 서비스와 기업 온프레미스 환경을 모두 지원할 수 있는 배포·운영 기반을 마련했습니다.
위 결과는 구현·운영 범위의 변화입니다. 처리 시간·비용·모델 품질의 개선율은 동일한 조건의 전후 측정이 확인될 때 추가합니다.
공개 가능한 근거
| 지표 | 값 | 범위와 기준 |
|---|---|---|
| 사용자 기반 | 약 4,000명 | 서비스에 가입·사용한 누적 사용자 기준 |
| 월간 활성 사용자 | MAU 2~3천 명대 | 집계 시점과 활성 사용자 정의를 재확인할 예정인 참고 규모 |
| 서비스 적용 범위 | 개인·팀·기업 | 개인 생산성 기능에서 팀 공유·기업 맞춤·온프레미스까지 확장 |
배운 점과 다음 기준
- AI 엔지니어링은 모델을 호출하는 기능 구현에서 끝나지 않고, 사용자의 대기·실패·재시도까지 포함한 실행 경험을 설계하는 일이라는 점을 배웠습니다.
- 모델과 기능이 빠르게 바뀌는 제품일수록 특정 모델에 묶이지 않는 공통 요청·작업·결과 계층이 중요하다는 것을 경험했습니다.
- 좋은 아키텍처는 복잡한 기술을 추가하는 것이 아니라, 팀이 다음 기능을 안전하게 추가하고 운영 문제를 추적할 수 있게 만드는 구조라는 기준을 갖게 되었습니다.
사용 기술
※ 보안을 위해 제품·고객 식별 정보는 비식별 처리하고, 시스템 구조는 단순화했으며 내부 배포 상세는 생략했습니다.