Do AI-for-Science Agents Preserve Model Safety?
과학 연구를 도우는 AI 에이전트의 안전성을 검사한 연구입니다. 연구팀은 다섯 종류의 에이전트에 위험한 화학 요청 50개를 시험했습니다. 결과, 에이전트 형태로 감싸면 원래 모델이 막던 위험한 요청을 들어주는 경우가 늘었습니다. 기본 모델을 공격해도 실패하던 해킹 시도가, 에이전트로 만들자 갑자기 잘 통과했습니다.
과학 연구를 도우는 AI 에이전트의 안전성을 검사한 연구입니다. 연구팀은 다섯 종류의 에이전트에 위험한 화학 요청 50개를 시험했습니다. 결과, 에이전트 형태로 감싸면 원래 모델이 막던 위험한 요청을 들어주는 경우가 늘었습니다. 기본 모델을 공격해도 실패하던 해킹 시도가, 에이전트로 만들자 갑자기 잘 통과했습니다.
LLM을 에이전트로 묶어 쓴다면 기반 모델의 안전성을 그대로 믿으면 안 된다는 근거가 생겼다
원문 읽기이어서 볼 것
이 글을 읽은 뒤 바로 이어볼 수 있는 추천
더 읽기로 감을 넓히고, 사례를 본 뒤, 필요하면 참여나 도구로 넘어가면 됩니다.
다음 행동
아직 댓글이 없습니다. 첫 댓글을 작성해보세요!