Mis on Crawler.sh?

Crawler.sh on kiire, lokaalne veebiroomaja ja SEO & AEO analüüsitööriist, mis töötab teie terminalist või natiivsest töölauarakendusest. See roomab terveid veebisaite sekunditega, teostab igal lehel 24 automatiseeritud SEO kontrolli, eraldab loetava sisu puhta Markdownina ja ekspordib tulemused JSON-, CSV- või Sitemap XML-vormingusse – ilma et teie andmeid saadetaks ühelegi välisele serverile.

Kellele see on mõeldud

• SEO spetsialistidele, kes peavad auditeerima saite puuduvate pealkirjade, dubleerivate kirjelduste, nõrga sisu ja katkiste linkide osas enne, kui reitingud kannatavad
• Sisuhalduritele, kes soovivad eraldada artiklite sisu puhta Markdownina varukoopiate, migratsioonide või teistesse tööriistadesse söötmise jaoks
• Arendajatele, kes eelistavad CLI-põhist töövoogu roomamise integreerimiseks automatiseeritud torustikesse või CI/CD protsessidesse

Peamised funktsioonid

Sisu eraldamine puhta Markdownina

Iga lehe peamine artikli sisu eraldatakse automaatselt ja teisendatakse puhtaks Markdowniks. Tööriist sisaldab iga lehe jaoks sõnade arvu, autori nime ja väljavõtet, muutes veebisisu korduskasutamise või arhiveerimise lihtsaks.

Saidi roomamine JavaScripti renderdamisega

Roomake mis tahes veebisaiti, jäädes samale domeenile. Sisseehitatud JavaScripti renderdamine tuvastab ja käsitleb automaatselt JS-rikkaid lehti ning saate konfigureerida samaaegsust, sügavuse piiranguid ja viisakaid viivitusi päringute vahel.

24 automatiseeritud SEO kontrolli

Iga leht skannitakse puuduvate pealkirjade, dubleerivate meta kirjelduste, noindex direktiivide, nõrga sisu, katkiste linkide, pikkade URL-ide ja sisu värskuse signaalide osas. Probleeme saab eksportida CSV- või loetava TXT-vormingusse teie meeskonnale.

Mitu väljundvormingut

Voogesitage tulemusi NDJSON-vormingus roomamise ajal või eksportige JSON-massiividesse ja W3C-ühilduvasse Sitemap XML-i. SEO aruanded eksporditakse CSV- või TXT-vormingusse, andes teile paindlikkuse igasuguse allavoolu töövoo jaoks.

Mis paistab silma

Roomake mis tahes veebisaiti, leidke iga probleem ja eksportige vajalikud andmed – kõik omaenda masinast.

See lokaalne lähenemine tähendab, et ükski andmepunkt ei lahku kunagi teie arvutist, muutes selle ideaalseks tundlike või sisemiste saitide jaoks. Kiire roomamise, automatiseeritud SEO analüüsi ja puhta Markdowni eraldamise kombinatsioon ühes tööriistas välistab vajaduse mitme teenuse vahel žongleerimiseks. Saate täieliku torustiku roomamisest ekspordini ilma korduvate tellimiskulude või API piiranguteta.

Tasub proovida, kui…

Vajate privaatsust austavat, kõik-ühes tööriista veebisaitide roomamiseks, SEO auditite tegemiseks ja sisu eraldamiseks – olenemata sellest, kas olete üksikarendaja, kes automatiseerib töövooge, või SEO meeskond, kes püüab probleeme enne nende mõju reitingutele. See on eriti kasulik, kui eelistate töötada terminalist või soovite töölauarakendust, mis hoiab kõike lokaalsena.