RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?
전체 요약
AI 에이전트가 기계 학습 논문을 재현하는 데 도전했습니다. RECLAIM이라는 새로운 벤치마크를 통해 100편의 논문을 연간으로 재구성해 보았습니다. 가장 쉬운 경우에도 성공률은 41%에 불과했고, 코드나 데이터가 없는 경우는 거의 실패로 끝났습니다. 이 실험은 AI 에이전트들이 얼마나 정확하게 학습 모델을 이해하고 재현하는지 보여줍니다.