검색과 생성의 완벽한 조합, 검색 증강 생성 (Retrieval Augmented Generation)

검색 증강 생성 (Retrieval Augmented Generation)은 더 정확한 응답을 제공하기 AI 모델 외부(예: 관련 웹사이트, 데이터베이스 등)에서 정보를 검색하고, 이를 바탕으로 응답을 생성하는 방식입니다. 줄여서 RAG로 표기합니다.

예를 들어, 사용자가 "오늘 서울 날씨는 어떤가요?"라는 프롬프트로 질문한 경우, RAG 시스템은 날씨 웹사이트나 외부 데이터베이스에서 최신 날씨 정보를 검색하고, 이를 바탕으로 정확한 날씨 정보를 제공합니다.

챗GPT는 초기에 외부 데이터를 참고하여 답변을 생성하지 못하였으나, 최근에는 검색 증강 생성으로 외부 정보를 활용해 할루시네이션을 최소화하고 더욱 정확한 답변을 제공하고 있습니다.

RAG는 기존 검색 엔진과 생성형 AI의 장점을 결합하며, 차세대 검색 방식이라고 불릴 만큼 세간의 큰 관심을 받고 있습니다.

RAG 시스템은 크게 검색기 (Retriever)와 생성기 (Generator)로 구성됩니다.

검색기는 질문과 관련된 정보를 데이터베이스나 인터넷에서 검색합니다.

사용자가 "오늘 서울 날씨는 어떤가요?"라고 묻는 경우, 검색기는 날씨 데이터를 제공하는 웹사이트나 데이터베이스에서 최신 서울 날씨 정보를 찾아냅니다.

생성기는 검색된 정보를 바탕으로 최종 답변을 만들어냅니다.

검색기가 찾은 최신 서울 날씨 정보를 바탕으로 "오늘 서울의 날씨는 맑고, 최고 기온은 25도, 최저 기온은 18도입니다."라는 구체적이고 완성된 문장을 생성합니다.

1. 질문 입력: 사용자가 질문을 입력합니다.

   • 예시: "2024년 올림픽 개최 도시는 어디인가요?"

2. 정보 검색: 검색기가 질문과 관련된 정보를 자체 데이터베이스나 인터넷에서 검색합니다.

   • 예시: 검색기는 "2024년 올림픽 개최 도시"와 관련된 최신 뉴스를 검색합니다.

3. 정보 통합: 검색된 정보가 생성기로 전달됩니다.

   • 예시: 검색된 정보는 "2024년 올림픽은 프랑스 파리에서 개최됩니다."라는 사실을 포함합니다.

4. 응답 생성: 생성기가 전달받은 정보를 바탕으로 질문에 대한 응답을 생성합니다.

   • 예시: 생성기는 "2024년 하계 올림픽은 프랑스의 파리에서 개최될 예정입니다."라는 응답을 생성합니다.

생성형 AI는 사전 학습된 정보를 바탕으로 답변을 생성하기 때문에 정보의 최신화에 제한이 있는 반면, RAG는 최신 정보를 바탕으로 답변을 생성하기 때문에 더욱 정확하고 신뢰할 수 있는 답변을 제공합니다.

예를 들어 사용자가 "최신 아이폰 모델은 무엇인가요?"라고 묻는 경우, RAG는 최신 뉴스를 검색하여 "최신 아이폰 모델은 아이폰 OO입니다."라고 답변합니다.

챗봇이 고객의 질문에 대해 최신 정보를 제공하여 빠르고 정확하게 답변할 수 있습니다.

예를 들어, 사용자가 "이 제품의 반품 정책은 무엇인가요?"라고 물으면, 챗봇은 해당 제품의 최신 반품 정책을 검색하여 정확한 정보를 제공합니다.

RAG를 활용해 최신 정보를 검색하고 이를 바탕으로 새로운 콘텐츠를 만들 수 있습니다.

예를 들어, "오늘의 뉴스"라는 사용자의 질문에 대해 최신 뉴스를 검색하여 요약된 기사를 생성합니다.

2024년 현재 ChatGPT와 Claude와 같은 기존 생성형 AI 서비스 뿐만 아니라, Perplexity와 같은 RAG에 특화된 서비스들이 대중의 큰 관심을 받고 있습니다.

챗GPT로 RAG를 활용하려면, 프롬프트에 검색 결과를 참고하여 답변해주세요, 관련 웹 문서를 참고해 주세요와 같은 요청을 추가하여 AI가 외부 정보를 참고하여 답변을 생성하도록 유도할 수 있습니다.

아직 OpenAI에서는 아직 코드프렌즈와 같은 외부 서비스에 RAG를 지원하지 않습니다.

따라서 실습 환경 내에서는 https://로 시작하는 외부 웹 문서를 탐색할 수 없습니다.

따라서 실제 RAG 실습은 ChatGPT에서 진행해 주시기 바랍니다.