Ar lietuviškos svetainės blokuoja AI crawlerius?
Dažniausiai AI botai nei blokuojami, nei įleidžiami sąmoningai: robots.txt jų tiesiog neįvardija. Praktinis rezultatas priklauso nuo to, kas parašyta bendrose taisyklėse — kartais praleidžia viską, kartais užblokuoja kartu su visais. Abiem atvejais tai sprendimas, kurio niekas nepriėmė.
Klausimas „ar blokuoji AI botus" beveik visada sulaukia atsakymo „ne". Bet pažiūrėjus į patį failą paaiškėja, kad atsakymas dažniausiai yra „nežinom" — botai jame neminimi.
Skaičiai remiasi maždaug 500 auditų, atliktų ankstesne mūsų platforma, ir tuo, ką matom šiandien. Tų auditų duomenų eksportų nebeturim, todėl čia — intervalai, ne tiksli statistika.
Ką dažniausiai matom faile
Trys tipiniai variantai:
Failas be jokio boto vardo. Yra User-agent: * ir kelios Disallow
eilutės iš šablono. AI botai tada elgiasi pagal bendrą taisyklę — t. y. praeina,
jei niekas jiems netrukdo.
Failas, paveldėtas iš CMS. WordPress ar Shopify numatytieji failai, kurie uždaro administravimo katalogus ir nieko daugiau. AI botų klausimas juose neegzistuoja.
Platus blokas be priežasties. Rečiau, bet pasitaiko: kažkada kažkas pridėjo griežtą taisyklę, o po metų niekas nebeprisimena, kodėl. Kartu su nepageidaujamu srautu ten dažnai lieka užblokuoti ir naudingi botai.
Kodėl „neblokuoju" nereiškia „įleidžiu"
robots.txt veikia pagal vardą. Blokas galioja tik tam agentui, kurį įvardiji,
o leidimas — irgi. Vardų šiandien yra daugiau nei atrodo, ir jie skiriasi pagal
paskirtį:
- GPTBot — OpenAI treniravimo crawleris;
- OAI-SearchBot — OpenAI paieškos botas, aptarnaujantis atsakymus su nuorodomis;
- ChatGPT-User — užklausa, kurią inicijuoja pats naudotojas pokalbyje;
- PerplexityBot, ClaudeBot — analogiški kitų tiekėjų;
- Google-Extended — atskiras Google ženklas, nekeičiantis įprasto indeksavimo.
Praktinė pasekmė: galima uždrausti treniravimą ir kartu leisti paiešką. Tai du skirtingi vardai, ir tai vienintelis būdas pasakyti „necituok manęs be nuorodos, bet rodyk mane su nuoroda".
Dažniausia klaida
Užblokuoti paieškos botą galvojant apie treniravimą. Tada svetainė dingsta iš atsakymų su nuorodomis — t. y. iš tos vietos, kuri atneša lankytojų — bet treniravimo klausimo tai vis tiek neišsprendžia iki galo.
Antra dažna klaida — robots.txt, kuris blokuoja tai, ką pats nori parodyti:
kainoraštį, DUK ar žinyną. Tie puslapiai kaip tik ir yra citavimo medžiaga.
Kaip pasitikrinti per penkias minutes
Atsidaryk tavodomenas.lt/robots.txt ir paieškok vardų iš sąrašo aukščiau. Jei
nė vieno nėra — sprendimas dar nepriimtas, ir tai pats dažniausias atvejis.
Tada nuspręsk sąmoningai. Ar verta blokuoti, priklauso nuo to, ar turinys parduodamas atskirai: ar blokuoti AI crawlerius.
Nemokamas skenas tą patį padaro už tave ir kartu pasako, ar botas, praėjęs
pro robots.txt, apskritai gauna tekstą.
Susiję straipsniai
- Ar blokuoti AI crawlerius: kada verta
- GEO 2026: ar dirbtinis intelektas tave randa
- AI paieškos būklė Lietuvoje: kur stovim
- sitemap.xml ir robots.txt: ką jie daro
Kaip tai patenka į balą, aprašyta ties ką tikriname.
Šaltiniai
Tai, kuo remiasi šis tekstas — pirminiai šaltiniai, ne perpasakojimai:
Dažni klausimai
Ar `robots.txt` blokas apskritai privalomas botui?
Ne technine prasme — tai susitarimas, o ne apsauga. Didieji tiekėjai savo botų vardus skelbia viešai ir deklaruoja, kad taisyklių laikosi; kas nesilaiko, tas ir vardo nedeklaruoja. Tikra apsauga yra serverio lygmenyje, ne šitame faile.
Ar užblokavus GPTBot dingsiu iš ChatGPT?
Ne iš karto ir ne visiškai. GPTBot renka treniravimo duomenis, o atsakymus su nuorodomis aptarnauja OAI-SearchBot. Norint likti atsakymuose, antrasis turi būti įleistas.
Ar `Google-Extended` blokas pakenks įprastam indeksavimui?
Ne. Tai atskiras ženklas būtent generatyviniams produktams; įprastą Google paiešką valdo `Googlebot`, ir jo tai neliečia.
Ką daryti, jei nežinau, kas parašė mano `robots.txt`?
Perskaityti jį visą — jis paprastai trumpas — ir palikti tik tas eilutes, kurias gali paaiškinti. Neaiškios paveldėtos taisyklės dažniau kenkia nei saugo.
Pasitikrink
Nemokamas skenas parodo, ką iš to, kas aprašyta, tavo svetainė jau daro, o ko — ne.