Ar reikia blokuoti AI crawlerius?
Atsakymas priklauso nuo vieno dalyko: ar tavo pajamos ateina iš apsilankymo. Leidyklai, kurios verslas yra reklama puslapyje, blokavimas gali būti teisingas sprendimas. Paslaugų ar produktų įmonei jis reiškia dingimą iš atsakymų, kuriuose ją galėtų rekomenduoti.
Klausimas dažnai užduodamas kaip moralinis, o jis yra ekonominis. Skiriasi ne požiūris į dirbtinį intelektą, o tai, kur tavo atveju gimsta pinigai.
Kada blokuoti prasminga
Kai turinys ir yra produktas: naujienų portalas, receptų svetainė, mokymų medžiaga. Modelis, atsakęs vietoj tavęs, atima būtent tą apsilankymą, už kurį tau moka.
Tokiu atveju blokuojami mokymo botai (GPTBot, CCBot, Google-Extended),
o paieškos — dažnai paliekami, nes jie duoda nuorodą.
Kada blokuoti kenkia
Kai turinys yra kelias į produktą: paslaugos, SaaS, parduotuvė, vietinis verslas. Čia paminėjimas atsakyme yra nemokama rekomendacija, o blokavimas reiškia, kad tavęs tiesiog nėra tarp variantų.
Praktinė detalė, kurią pastebi ne visi: užblokavus ChatGPT-User klientui
nusiųsta nuoroda jo pokalbyje neatsidaro. Tai jau ne matomumo, o
aptarnavimo klausimas.
Trys skirtingi botai
GPTBot — mokymas. OAI-SearchBot — paieška su nuorodomis.
ChatGPT-User — vieno žmogaus prašymu atidaromas puslapis.
Vienas Disallow: / visiems trims yra trys skirtingi sprendimai, priimti
netyčia.
Ką daryti vietoj blokavimo
Jei nerimauji dėl turinio panaudojimo, yra švelnesnis kelias:
Content-Signal robots.txt faile leidžia atskirai pasakyti, kad turinį
galima cituoti, bet ne mokyti iš jo.
Tai pareiškimas, ne vartai — nesąžiningas rinkėjas jo nepaisys. Bet sąžiningi jo paiso, o blokuoti viską „dėl viso pikto" kainuoja daugiau.
Nemokamas skenas parodo, kurie botai realiai įleidžiami — gyvai, o ne
pagal tai, kas parašyta robots.txt.
Dažni klausimai
Ar blokavimas apsaugo turinį?
Iš dalies. Sąžiningi crawleriai paklūsta, nesąžiningi — ne. `robots.txt` yra prašymas, ne užraktas.
Ar Google-Extended blokavimas veikia paiešką?
Ne. Tai atskiras valdiklis Gemini mokymui; įprastą Google paiešką ir indeksavimą jis nepaliečia.
Ką reiškia Content-Signal?
Tai 2025 m. atsiradusi `robots.txt` eilutė, kuria atskirai pasakoma, kas leidžiama: `search`, `ai-input` (atsakymai realiu laiku) ir `ai-train` (mokymas). Kiekvienam galima nurodyti `yes` arba `no`.
Ar CDN gali blokuoti botus be mano žinios?
Taip, ir tai dažna. Cloudflare turi atskirą AI crawlerių nustatymą, kuris gali būti įjungtas be tavo sprendimo — tada `robots.txt` sako „prašom", o serveris atsako 403.
Pasitikrink
Nemokamas skenas parodo, ką iš to, kas aprašyta, tavo svetainė jau daro, o ko — ne.