Ar ChatGPT mato mano svetainę ir kaip tai patikrinti?
Patikrinti galima dviem būdais, ir jie atsako į skirtingus klausimus. Paklausus paties ChatGPT sužinai, ką jis apie tave atsimena arba randa dabar. Pažiūrėjus į `robots.txt` ir serverio atsakymus sužinai, ar jis apskritai turi galimybę tave perskaityti — o be to pirmasis atsakymas visada bus „nežinau".
Pradėti verta nuo antrojo. Jei crawleris neįleidžiamas, jokie turinio pataisymai nieko nekeis: teksto tiesiog niekas neperskaitys.
Kas iš tikrųjų lankosi
OpenAI naudoja kelis skirtingus botus, ir jie daro skirtingus dalykus:
GPTBot renka turinį modelio mokymui. Jį blokuojant tavo tekstas nepateks į tai, ką modelis „žino" iš anksto.
OAI-SearchBot indeksuoja turinį ChatGPT paieškai. Jį blokuojant dingsti iš atsakymų su nuorodomis.
ChatGPT-User ateina tada, kai konkretus žmogus pokalbyje paprašo atidaryti tavo nuorodą. Jį blokuojant lankytojas gauna „nepavyko pasiekti puslapio".
Trys skirtingi botai reiškia tris skirtingus sprendimus. Dažna klaida —
užblokuoti visus vienu Disallow, o paskui stebėtis, kodėl nuoroda,
nusiųsta klientui, ChatGPT lange neatsidaro.
Kaip patikrinti techninę pusę
Atsidaryk tavodomenas.lt/robots.txt ir ieškok šitų vardų. Jei matai
Disallow: / po bet kuriuo iš jų — tas botas neįleidžiamas.
Antras dalykas, kurio robots faile nematyti: serveris arba CDN gali
blokuoti botą pagal User-Agent, nepriklausomai nuo robots. Cloudflare tam
turi atskirą nustatymą, ir jis būna įjungtas be jokio žmogaus sprendimo.
Tai reali ir dažna situacija: robots.txt sako „prašom", o CDN atsako 403.
Kaip patikrinti, ką modelis žino
Paklausk tiesiai: „ką žinai apie [tavo domenas]" ir „kokias paslaugas teikia [tavo įmonė]". Atkreipk dėmesį ne į tai, ar atsakymas gražus, o į tai, ar jame yra faktų, kurių niekur kitur nėra — kainos, miestas, konkretus pasiūlymas.
Jei atsakymas bendras („tai atrodo kaip svetainė apie..."), modelis tavęs neperskaitė arba perskaitė tekstą, kuriame konkretumo nėra.
Ko neužtenka
Įleisti botus yra būtina sąlyga, bet ne pakankama. Perskaitęs puslapį, kuriame parašyta „mes teikiame aukštos kokybės paslaugas", modelis neturi ką cituoti — jokio fakto, jokio skaičiaus, jokio atsakymo į klausimą.
Todėl darbas turi dvi dalis: prieiga ir turinys. Pirmoji trunka penkias minutes, antroji — nuolat.
Nemokamas skenas tikrina abi: ar botai praeina (gyvai, ne pagal
robots.txt tekstą), ar yra struktūriniai duomenys, ar puslapiuose apskritai
yra klausimų su atsakymais.
Dažni klausimai
Ar blokuoti GPTBot yra bloga?
Priklauso nuo verslo modelio. Leidyklai, kurios pajamos ateina iš apsilankymų, blokavimas gali būti teisingas sprendimas. Paslaugų įmonei jis reiškia dingimą iš atsakymų, kuriuose ją galėtų rekomenduoti.
Ar ChatGPT mato mano svetainę iš karto po pakeitimų?
`ChatGPT-User` — taip, jis atidaro puslapį tuo metu, kai žmogus paprašo. Tai, ką modelis „žino" be nuorodos, atsinaujina daug rečiau: mokymo duomenys perkuriami retai.
Ar reikia atskiro turinio AI asistentams?
Ne. Reikia to paties turinio, parašyto taip, kad atsakymas būtų randamas: klausimas antraštėje, atsakymas iš karto po juo, faktai su skaičiais. Atskiras tekstas „robotams" yra sena idėja, dėl kurios svetainės kadaise gaudavo baudas.
Kuo skiriasi ChatGPT nuo Google AI Overviews?
Šaltiniu. AI Overviews remiasi Google indeksu, todėl jam galioja įprastas SEO. ChatGPT naudoja savo crawlerius ir savo duomenis, todėl į Google indeksą patekęs puslapis dar nebūtinai pasiekiamas jam.
Pasitikrink
Nemokamas skenas parodo, ką iš to, kas aprašyta, tavo svetainė jau daro, o ko — ne.