RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?

AI 에이전트가 기계 학습 논문을 재현하는 데 도전했습니다. RECLAIM이라는 새로운 벤치마크를 통해 100편의 논문을 연간으로 재구성해 보았습니다. 가장 쉬운 경우에도 성공률은 41%에 불과했고, 코드나 데이터가 없는 경우는 거의 실패로 끝났습니다. 이 실험은 AI 에이전트들이 얼마나 정확하게 학습 모델을 이해하고 재현하는지 보여줍니다.

에이전트를 만들거나 쓴다면 논문 재현 같은 긴 연구 작업을 어디까지 맡길 수 있는지 기준선을 얻는다