Kam reikalingi sitemap.xml ir robots.txt ir kaip juos teisingai sutvarkyti?

Du tekstiniai failai svetainės šaknyje, kartu apie penkiasdešimt eilučių. Juos skaito kiekvienas botas — ir Google, ir ChatGPT crawler'is — dar prieš atsidarydamas pirmą puslapį.

Jų vaidmenys skirtingi, ir juos supainiojus atsiranda dažniausia techninio SEO klaida apskritai.

robots.txt sako, KUR eiti

Failas gyvena tik viename adrese: pavyzdys.lt/robots.txt. Kitur jis negalioja.

User-agent: *
Disallow: /admin/
Disallow: /krepselis/

Sitemap: https://pavyzdys.lt/sitemap.xml

Svarbiausias dalykas, kurio beveik niekas nežino: Disallow nereiškia „neindeksuok". Jis reiškia „neskaityk". Skirtumas praktinis ir nemalonus — Google gali įdėti puslapį į indeksą pagal vien nuorodas į jį, ir tada rezultatuose atsiranda įrašas be aprašymo, su prierašu, kad turinys neprieinamas.

Norint puslapį iš indekso išimti, reikia noindex meta žymos — o kad Google ją pamatytų, puslapį privaloma leisti nuskaityti. Uždraudus per robots.txt, noindex niekada nebus perskaityta. Du sprendimai, kurie atrodo panašiai, vienas kitą panaikina.

Klaida, kuri uždaro svetainę

User-agent: *
Disallow: /

Dvi eilutės, ir visa svetainė nebeskaitoma. Tai nėra retas atvejis — būtent tokį robots.txt turi kiekviena staging aplinka, ir jis nukeliauja į produkciją kartu su visais kitais failais.

Jei srautas krito per naktį, tai pirmas dalykas, kurį reikia atsidaryti. Daugiau apie kitas priežastis — ties kodėl krito organinis srautas.

sitemap.xml sako, KĄ skaityti

Sitemap yra adresų sąrašas su kiekvieno paskutinio pakeitimo data. Jis negarantuoja indeksavimo — jis tik pasako, kad šitie puslapiai egzistuoja ir kada jie keitėsi.

<url>
  <loc>https://pavyzdys.lt/paslaugos</loc>
  <lastmod>2026-09-19</lastmod>
</url>

Trys taisyklės, kurios sprendžia, ar Google juo apskritai pasitikės.

Tik indeksuotini adresai. Puslapis su noindex, nukreipimas arba 404 sitemap'e yra prieštaravimas: sąrašas sako „skaityk", puslapis sako „neskaityk". Kelios tokios eilutės, ir pasitikėjimas visu failu krinta.

lastmod tikras arba jo išvis nėra. Tai svarbiausia ir dažniausiai laužoma taisyklė. Google lastmod naudoja tik tada, kai juo pasitiki, o pasitikėjimą griauna identiškos datos: keturiasdešimt adresų su ta pačia diena reiškia, kad data yra deploy'aus žyma, o ne puslapio istorija.

Kanoninis adresas. Vienas puslapis — viena eilutė. Ne http ir https, ne su www ir be, ne su parametrais.

priority ir changefreq galima praleisti: Google juos ignoruoja jau seniai ir tai yra oficialiai patvirtinta.

Ką dar deklaruoti robots.txt faile

Sitemap: eilutė yra vienintelė, kuri veikia be jokio registravimo — ją perskaito ir Google, ir kiti botai. Jei turi RSS srautą, jį galima deklaruoti lygiai taip pat: Search Console priima RSS kaip sitemap'ą ir naudoja jį greitam naujo turinio radimui.

AI crawler'iai valdomi tame pačiame faile, atskiromis User-agent eilutėmis. Ar tai daryti — atskiras klausimas, aprašytas ties ar blokuoti AI crawlerius.

Ką patikrinti dabar

Atsidaryk pavyzdys.lt/robots.txt naršyklėje. Jei ten yra Disallow: /, sustok ir taisyk. Atsidaryk pavyzdys.lt/sitemap.xml ir pažiūrėk, ar visos datos ne vienodos.

Abu failus deklaruok Search Console — sitemap'ą įkelk rankiniu būdu, nes tai vienintelis būdas pamatyti, kiek adresų iš jo realiai perskaityta.

Nemokamas skenas abu failus tikrina automatiškai: ar jie apskritai yra, ar sitemap sutampa su realiai pasiekiamais puslapiais, ar datos ne identiškos ir ar robots.txt neblokuoja to, ko neturėtų.

Susiję straipsniai

Ta pati tema iš kitos pusės — kiekvienas atsako į savo klausimą:

• Kodėl Google neindeksuoja puslapių
• Aptikta, bet neindeksuota: ką tai reiškia
• Ar blokuoti AI crawlerius

Kaip šitas dalykas patenka į balą, aprašyta ties ką tikriname.

Šaltiniai

Tai, kuo remiasi šis tekstas — pirminiai šaltiniai, ne perpasakojimai:

• Google Search Central — kaip Google interpretuoja robots.txt
• Google Search Central — sitemap failai
• sitemaps.org — protokolo specifikacija