Crawler.shとは？

Crawler.shは、ターミナルまたはネイティブデスクトップアプリから実行できる、高速でローカルファーストのWebクローラー兼SEO・AEO分析ツールです。数秒でWebサイト全体をクロールし、各ページに対して24種類の自動SEOチェックを実行。読みやすいコンテンツをクリーンなMarkdownとして抽出し、結果をJSON、CSV、またはSitemap XMLにエクスポートします。しかも、データを外部サーバーに送信することは一切ありません。

こんな方におすすめ

• SEOスペシャリスト：ランキングに影響が出る前に、タイトル欠落、重複ディスクリプション、薄いコンテンツ、リンク切れなどをサイト監査する必要がある方
• コンテンツマネージャー：記事コンテンツをクリーンなMarkdownとして抽出し、バックアップ、移行、または他のツールへの連携に活用したい方
• 開発者：CLI駆動のワークフローを好み、クローリングを自動パイプラインやCI/CDプロセスに統合したい方

主な機能

クリーンなMarkdownとしてのコンテンツ抽出

各ページのメイン記事コンテンツが自動的に抽出され、クリーンなMarkdownに変換されます。各ページの文字数、著者名、抜粋も含まれるため、Webコンテンツの再利用やアーカイブが簡単に行えます。

JavaScriptレンダリング対応のサイトクローリング

同一ドメイン内に留まりながら、あらゆるWebサイトをクロール可能。組み込みのJavaScriptレンダリング機能がJS主体のページを自動検出・処理し、同時実行数、深さ制限、リクエスト間のポライトディレイも設定できます。

24種類の自動SEOチェック

各ページについて、タイトル欠落、メタディスクリプションの重複、noindexディレクティブ、薄いコンテンツ、リンク切れ、長すぎるURL、コンテンツの鮮度シグナルなどをスキャン。問題点はCSVまたは人間が読みやすいTXT形式でチームにエクスポートできます。

複数の出力形式

クロール中に結果をNDJSONとしてストリーミング出力するか、JSON配列やW3C準拠のSitemap XMLとしてエクスポート可能。SEOレポートはCSVまたはTXTとしてエクスポートでき、あらゆるダウンストリームワークフローに柔軟に対応します。

特筆すべき点

あらゆるWebサイトをクロールし、すべての問題を発見し、必要なデータをエクスポート。すべて自分のマシン上で完結します。

このローカルファーストのアプローチにより、データがコンピューターの外に出ることは一切ないため、機密性の高いサイトや内部サイトに最適です。高速クローリング、自動SEO分析、クリーンなMarkdown抽出を1つのツールで実現することで、複数のサービスを併用する必要がなくなります。定期的なサブスクリプション費用やAPIレート制限に悩まされることなく、クロールからエクスポートまでの完全なパイプラインを手に入れられます。

こんな方にぜひ試してほしい

プライバシーを尊重し、オールインワンでWebサイトのクローリング、SEO監査、コンテンツ抽出を行いたい方。ワークフローを自動化する個人開発者でも、ランキングに影響が出る前に問題を発見したいSEOチームでも、ターミナルでの作業を好む方や、すべてをローカルで完結させるデスクトップアプリを求める方に特に役立ちます。