분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
자동차 매뉴얼을 활용한 RAG 기반 멀티모달 QA 시스템 :My meta
공동작성자
삼육대학교 mymeta team입니다.
현대자동차 PDF 매뉴얼을 기반으로 사용자의 차량 관련 질문에 답변하는 RAG 기반 질의응답 시스템입니다.
Streamlit 기반 UI와 FastAPI 백엔드를 분리한 멀티 컨테이너 구조로 설계되었으며, FAISS 벡터 검색 및 EXAONE-3.5 LLM을 활용한 고품질 응답 생성을 지원합니다.
또한 HyperCLOVA X Vision 기반 이미지 분석을 추가하여 이미지 기반 질의 또한 지원합니다.
사용자의 질문은 MongDB에 저장되며 추후 유지 보수및 개선이 가능합니다.
시연연상 링크 -> https://youtu.be/YCA6Cyp6zPM
💻 실행 환경
Python 3.10
CUDA 11.8
GPU: NVIDIA L4 / (텍스트만 사용시)RTX 4060 이상 권장
OS: Ubuntu 20.04 / Docker 환경 기준
✅ 주요 기능
현대차 PDF 문서를 구조화 파싱 (pdfminer 기반)
텍스트 블록 → 청크화 → 차량 모델 메타정보 추가
BGE-M3 임베딩 모델로 벡터화 → FAISS 인덱스 구축
차량 모델(metadata) 기준으로 FAISS 문서 필터링 지원
HyperCLOVA X Vision 기반 이미지 분석 → 질문 생성
LangChain 기반 Retriever + EXAONE LLM 응답 생성
Streamlit UI ↔ FastAPI 백엔드 연동
차량 모델 기준 응답 우선순위 및 출처 인용 지원
MongoDB에 사용자 질문, 답변, 차량 정보, 피드백 로그 저장
Prometheus 기반 서버 상태, 요청 처리 속도, GPU/메모리 사용률 모니터링 및 Grafana 시각화 연동
🛠️ 기술 스택
Python 3.10
Streamlit
FastAPI + Uvicorn
LangChain + FAISS
EXAONE-3.5 / BGE-M3 / HyperCLOVA X Vision / MongoDB
Prometheus + Grafana
Locust
Docker, Docker Compose
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved