What Do We Expect from LLMs? Mapping the Design of LLM Benchmarks

이 연구는 대형 언어 모델(LLM) 평가를 위한 다양한 테스트 방법을 분석합니다. 2022년부터 2026년까지의 1만 4,767편의 논문을 살펴보며, LLM들이 어떻게 평가되고 성공 기준이 바뀌는지 알아봅니다. 연구자들은 LLM들이 실제 업무에서 잘 수행할 수 있는 능력을 더 중요하게 생각하고 있습니다. 하지만 모델이 직접 만든 자료는 크게 늘지 않았습니다. 이 결과는 AI 테스트가 독립적인 증거를 제공하는 것인지, 아니면 모델의 선호도를 반영하는 것인지에 대한 질문을 던집니다.

모델을 고르거나 평가를 직접 만든다면 평가 기준이 어디로 향하는지 지도를 얻는다