M-RAG: Enhancing Open-domain Question Answering with Metadata Retrieval-Augmented Generation

본 논문에서는 하나 이상의 문서에 대해 open-domain Question Answering (ODQA) 시스템에서 효과적인 검색 포함 질의 응답을 할 수 있는 Metadata Retrieval-Augmented Generation(M-RAG) 방법을 제안하고 그 성능을 비교한다. 이를 위하여 메타데이터가 포함된 임베딩을 활용하고, 자동화된 응답을 생성하기 위해 gpt-3.5-turbo-16k와 gpt-4와 같은 생성 모델을 활용한다. 본 논문의 방식을 통하여 생성 모델(gpt-3.5, gpt-4)이 문서의 순서와 맥락을 메타데이터를 통해 파악하여 답변 할 수 있게 된다. 그리고 문서의 출처, 원문 요구를 추가하는 프롬프트 엔지니어링을 통해 질의응답(QA)의 출처 표기 기능을 활성화시킬 수 있어서 답변의 정확성을 증대할 수 있다. 실험결과, 본 논문의 방법은 같은 외부 추론 ODQA 시스템과 비교하여 최대 46%의 성능 향상을 보였고, 기존의 RAG 방식보다도 6% 향상된 성능을 보였다.