browsecomp-plus-mini: 15 of BrowseComp-Plus's 830 queries that rank deep-research agents roughly like the full set, no LLM judge
딥리서치 에이전트 벤치마크를 15문항으로 빠르게 돌리는 데이터셋이 나왔다
에이전트를 평가할 때마다 몇 시간씩 쓰고 있다면 전체 비용의 2%로 순위를 확인할 수 있다
AI 검색 에이전트 성능을 빠르고 저렴하게 비교할 수 있는 'browsecomp-plus-mini'가 공개되었습니다. 전체 830개 질문 대신 15개 질문만 사용하며, 전체 벤치마크와 비슷한 순위를 보여줍니다 (0.88). 질문당 답변 길이를 짧게(1~4단어) 만들어 LLM(언어 모델) 심사관 없이도 정확도 비교가 가능하며, 전체 벤치마크 비용의 2% 미만으로 사용 가능합니다.
에이전트를 평가할 때마다 몇 시간씩 쓰고 있다면 전체 비용의 2%로 순위를 확인할 수 있다
원문 읽기이어서 볼 것
이 글을 읽은 뒤 바로 이어볼 수 있는 추천
더 읽기로 감을 넓히고, 사례를 본 뒤, 필요하면 참여나 도구로 넘어가면 됩니다.
다음 행동
아직 댓글이 없습니다. 첫 댓글을 작성해보세요!