Mūsų crawler'is

SeoScoreBot: kas tai ir kaip jį sustabdyti

Jei šitą puslapį atsidarei iš savo serverio logų — atėjai teisingai. Čia parašyta, kodėl mes tavo svetainėje lankėmės ir ką padaryti, jei nenori, kad lankytumėmės.

Kaip jis prisistato

SeoScoreBot/1.0 (+https://seoscore.lt/bot)

Mozilla/5.0 (Linux; Android 14; Mobile) SeoScoreBot/1.0 (+https://seoscore.lt/bot)

Kodėl jis atėjo

Kažkas įvedė tavo domeną į seoscore.lt ir paprašė nemokamo SEO, GEO ir AEO skeno. Tai galėjai būti tu pats, tavo klientas arba žmogus, lyginantis kelias svetaines. Botas nerenka el. pašto adresų, neieško spragų ir nekopijuoja turinio mokymui — jis skaito tuos pačius dalykus, kuriuos skaito Google: antraštes, struktūrinius duomenis, nuorodas ir greitį.

Taisyklės, kurių jis laikosi

robots.txt yra privalomas

Uždraustas adresas į eilę nepatenka visai — užklausos į jį nebus. Ataskaitoje jis lieka matomas kaip užblokuotas, kad žmogus žinotų, ko netikrinom.

Crawl-delay gerbiamas

Jei robots.txt skelbia pauzę, ji tampa tikra pauze tarp užklausų raundų, o ne skaičiumi ataskaitoje.

Skenas yra baigtinis

Nemokamas skenas paima iki 30 puslapių, ne giliau nei trys paspaudimai nuo pradinio adreso. Tas pats domenas skenuojamas ne dažniau kaip du kartus per parą.

Tarnybiniai puslapiai praleidžiami

Prisijungimas, krepšelis ir administravimo adresai į eilę nepatenka. Jų turinio tikrinti nėra ko, o serverį jie apkrauna labiausiai.

Kaip užblokuoti

Įrašyk į robots.txt. Kitas skenas šitą eilutę perskaitys ir sustos — atskiro prašymo mums nereikia.

User-agent: SeoScoreBot
Disallow: /

Užblokavus botą, tavo svetainės skeno rezultatas bus tuščias. Tai normalu ir tikėtina: mes verčiau parodysim nieko, negu apeisim tavo taisyklę.

Jei kažkas ne taip

Jei botas elgiasi ne taip, kaip čia parašyta, arba apkrovė serverį — parašyk, ir mes tai sutvarkysim: info@seoscore.lt

Atnaujinta