Crawlerpeek – check which AI crawlers your site lets in (CLI, MCP)
크롤러픽은 웹사이트 접속 기록을 분석하는 도구입니다. 사이트가 어느 AI 크롤러(자료를 긁어가는 로봇)를 들여보내는지 보여줍니다. 명령줄과 MCP(도구 연결 창구) 방식으로 쓸 수 있다고 합니다. 깃허브에 공개된 오픈소스, 곧 레시피 공개 프로젝트입니다.
크롤러픽은 웹사이트 접속 기록을 분석하는 도구입니다. 사이트가 어느 AI 크롤러(자료를 긁어가는 로봇)를 들여보내는지 보여줍니다. 명령줄과 MCP(도구 연결 창구) 방식으로 쓸 수 있다고 합니다. 깃허브에 공개된 오픈소스, 곧 레시피 공개 프로젝트입니다.
내 사이트 콘텐츠가 어떤 AI 크롤러에게 열려 있는지 오늘 바로 확인할 수 있다
원문 읽기이어서 볼 것
이 글을 읽은 뒤 바로 이어볼 수 있는 추천
더 읽기로 감을 넓히고, 사례를 본 뒤, 필요하면 참여나 도구로 넘어가면 됩니다.
다음 행동
아직 댓글이 없습니다. 첫 댓글을 작성해보세요!