Lost in the Middle: How Language Models Use Long Contexts 링크: https://arxiv.org/abs/2307.031720. 요약 및 기여점Stanford에서 2023년에 낸 논문이 논문은 언어 모델들이 긴 context 내에서 정보를 처리할 때, context의 중간에 위치한 정보에 대해 성능이 저하되고, 관련 있는 정보기 입력의 초반 혹은 후반에 있을 때는 성능이 향상되는 경향을 보인다는 것을 보여주었음.RAG를 포함하여 긴 문맥을 처리하는 과정에서 공통적인 양상을 보임정보 위치, Context 길이, 모델 구조, 질문의 위치, 모델 크기, 훈련 데이터에 변화를 주며 실험을 하였음1. 관련 연구How Do Language Models Use Contex..
