Crawler.sh란?

Crawler.sh는 터미널 또는 네이티브 데스크톱 앱에서 실행되는 빠르고 로컬 우선의 웹 크롤러이자 SEO 및 AEO 분석 도구입니다. 몇 초 만에 전체 웹사이트를 크롤링하고, 모든 페이지에서 24가지 자동 SEO 검사를 수행하며, 읽기 가능한 콘텐츠를 깔끔한 Markdown으로 추출한 후 JSON, CSV 또는 Sitemap XML로 결과를 내보냅니다. 이 모든 과정에서 데이터를 외부 서버로 전송하지 않습니다.

대상 사용자

• SEO 전문가: 순위가 하락하기 전에 누락된 제목, 중복된 설명, 부실한 콘텐츠, 깨진 링크 등을 감사해야 하는 분
• 콘텐츠 관리자: 백업, 마이그레이션 또는 다른 도구에 입력하기 위해 기사 콘텐츠를 깔끔한 Markdown으로 추출하려는 분
• 개발자: 자동화된 파이프라인 또는 CI/CD 프로세스에 크롤링을 통합하기 위해 CLI 기반 워크플로를 선호하는 분

주요 기능

깔끔한 Markdown으로 콘텐츠 추출

모든 페이지의 주요 기사 콘텐츠가 자동으로 추출되어 깔끔한 Markdown으로 변환됩니다. 각 페이지에 대해 단어 수, 작성자 이름, 발췌문이 포함되어 웹 콘텐츠를 쉽게 재사용하거나 보관할 수 있습니다.

JavaScript 렌더링을 지원하는 사이트 크롤링

동일한 도메인 내에서 모든 웹사이트를 크롤링할 수 있습니다. 내장된 JavaScript 렌더링이 JS가 많은 페이지를 자동으로 감지하고 처리하며, 동시성, 깊이 제한, 요청 간 예의 있는 지연 시간을 설정할 수 있습니다.

24가지 자동 SEO 검사

각 페이지에서 누락된 제목, 중복된 메타 설명, noindex 지시어, 부실한 콘텐츠, 깨진 링크, 긴 URL, 콘텐츠 신선도 신호 등을 검사합니다. 발견된 문제는 팀과 공유할 수 있도록 CSV 또는 사람이 읽을 수 있는 TXT로 내보낼 수 있습니다.

다양한 출력 형식

크롤링 중에 NDJSON으로 결과를 스트리밍하거나 JSON 배열 및 W3C 호환 Sitemap XML로 내보낼 수 있습니다. SEO 보고서는 CSV 또는 TXT로 내보내져 모든 다운스트림 워크플로에 유연성을 제공합니다.

차별화 포인트

모든 웹사이트를 크롤링하고, 모든 문제를 찾아내며, 필요한 데이터를 내보내세요. 모두 내 컴퓨터에서 가능합니다.

이 로컬 우선 접근 방식은 데이터가 컴퓨터를 떠나지 않는다는 것을 의미하므로, 민감한 사이트나 내부 사이트에 이상적입니다. 빠른 크롤링, 자동화된 SEO 분석, 깔끔한 Markdown 추출을 하나의 도구로 결합하여 여러 서비스를 사용할 필요가 없습니다. 반복되는 구독 비용이나 API 속도 제한 없이 크롤링부터 내보내기까지 완벽한 파이프라인을 제공합니다.

이런 분들께 추천합니다

프라이버시를 존중하는 올인원 도구로 웹사이트 크롤링, SEO 감사 실행, 콘텐츠 추출이 필요하신 분 — 워크플로를 자동화하는 개인 개발자이든, 순위에 영향을 미치기 전에 문제를 발견하려는 SEO 팀이든 상관없습니다. 특히 터미널에서 작업하는 것을 선호하거나 모든 것을 로컬에서 처리하는 데스크톱 앱을 원하는 경우 유용합니다.