RAG 기반 챗봇 LLM 연동 & 벡터DB GCS 백업
RAG를 활용한 챗봇 개발 과정흩어져있는 카테부 공지사항을 모아서 궁금한 부분에 대해 질문하면, 찾는 수고로움 없이 바로 알 수 있도록 하는 것이 우리 서비스의 목표이다. 이 메인 기능인 챗봇이 원하는 응답을 생성할 수 있도록, LLM 추론을 강화하기 위한 RAG 기술을 활용한다.RAG: Retrieval-Augmented Generation의 약자로, 단순히 LLM에 질문을 던져 답을 생성하는 방식이 아니라, 외부 지식 소스(문서, DB, 위키 등)를 검색(Retrieve)하여 그 결과를 기반으로 텍스트를 생성(Generate)하는 구조RAG를 활용하면 사내 지식과 같은, LLM이 기본적으로 학습하지 않아서 모르는 최신 외부 정보를 활용할 수 있고, 무엇보다 hallucination을 줄일 수 있기 때..
FastAPI 스캐폴딩 작업 일기 ver. MVP
간단한 프로젝트 소개춘이네 비서실은 카카오테크부트캠프 내의 교육생을 위한 AI 챗봇 서비스로, 부트캠프 내의 공지사항에 대해 질문할 수 있는 서비스이다. 메인 기능이 챗봇 서비스이며, 서브 기능으로 각종 노션 및 디스코드의 공지사항을 한 번에 모아주는 목록과 디스코드 소통방 기반의 뉴스(v2부터는 위키 문서 기반의 뉴스로 바뀐다.)를 제공한다. 이때, 공지사항 및 뉴스 기능에 AI 요약이 추가되며, 뉴스의 경우 흥미를 유발하는 헤드라인을 생성하는 것 까지가, AI 부서의 핵심 역할이다. 정리하자면, MVP에서의 AI 기능은 크게 세 가지이다.챗봇 서비스공지사항 요약 생성뉴스 헤드라인 및 요약 생성 스캐폴딩 작업프로젝트의 기본 뼈대를 만들어, 기능을 빠르게 추가하거나 확장할 수 있도록 폴더 구조, 파일,..