robots.txt і sitemap.xml: навіщо потрібні й як не закрити сайт від Google

Уявіть ситуацію: сайт зробили, він гарний, наповнений, а в Google його немає. Тижнями. Власник вкладає гроші в тексти, чекає клієнтів — а причина в одному рядку в текстовому файлі, який хтось забув змінити після переїзду з тестового сервера на робочий. Це не рідкість і не екзотика — це одна з найчастіших технічних причин, чому сайт не потрапляє в пошук.

Два файли — robots.txt і sitemap.xml — це, по суті, вся комунікація вашого сайту з пошуковим роботом на рівні «куди йти, а куди не варто». Вони прості, але помилка в них коштує дорого. Розберемо без жаргону: що це, де лежить, як перевірити своє й що саме ламається найчастіше.

robots.txt — це записка для робота, а не замок

robots.txt — це звичайний текстовий файл, який лежить у корені сайту й відкривається за адресою вашсайт.com/robots.txt. У ньому ви пишете пошуковим роботам, куди їм не варто заходити.

Аналогія: це записка на дверях «сюди, будь ласка, не заходьте», а не замок. Ввічливий гість (Google, Bing) її прочитає й послухається. Але це:

• не захист — усе, що перелічено у файлі, бачить будь-яка людина, яка його відкриє (тобто ховати там адмінку — навпаки, підказувати, де вона);
• не заборона індексації — про це нижче, це найдорожча плутанина в темі;
• лише рекомендація — недобросовісні боти її ігнорують.

Виглядає він максимально просто:

User-agent: *
Disallow: /wp-admin/

Sitemap: https://вашсайт.com/sitemap.xml

Тут User-agent: * — «звертаюсь до всіх роботів», Disallow — «не скануйте цю папку», а останній рядок підказує, де лежить карта сайту. Для більшості невеликих сайтів адекватний robots.txt — це буквально кілька рядків. Довгий, складний файл із десятками правил на сайті-візитівці — привід насторожитись.

sitemap.xml — карта сайту для Google

sitemap.xml — це файл зі списком усіх сторінок, які ви хочете бачити в пошуку. Лежить зазвичай за адресою вашсайт.com/sitemap.xml.

Якщо robots.txt — це «куди не треба», то sitemap — це «ось повний перелік того, що в мене є, подивись усе». Робот, звісно, може знайти сторінки й сам, ходячи по посиланнях, але карта прискорює процес і страхує сторінки, на які веде мало внутрішніх посилань. Тому карта не скасовує роботу з посиланнями всередині сайту — про це в матеріалі про внутрішню перелінковку.

Три речі, які варто про неї знати:

• Її не роблять руками. Практично будь-яка CMS чи сучасний движок генерує карту автоматично й оновлює при додаванні сторінок. Файл, зроблений руками один раз на запуску, за пів року вже бреше.
• У ній мають бути лише «хороші» сторінки — робочі, доступні, ті, що мають бути в пошуку.
• Її треба подати в Google — самої наявності мало.

Найдорожча плутанина: Disallow ≠ noindex

Це те місце, де помиляються навіть люди, які «щось про SEO чули». Два інструменти звучать схоже, а роблять протилежне.

• Disallow у robots.txt каже: «не скануй цю сторінку». Тобто робот туди не зайде й не побачить, що на ній. Але сторінка може лишитись у пошуку — Google просто покаже її без нормального опису, бо знає адресу з посилань, але не знає вмісту.
• Тег noindex (прописується в коді самої сторінки) каже: «заходь, дивись, але не показуй мене в результатах пошуку». Саме він прибирає сторінку з видачі.

І звідси пастка, на яку натрапляють постійно: сторінку закривають у robots.txt і ставлять на ній noindex — «щоб напевно». Результат протилежний: робот не заходить на сторінку через Disallow, тому не бачить noindex, і сторінка може так і висіти в пошуку. Щоб noindex спрацював, сторінка має бути відкрита для сканування.

Просте правило: хочете прибрати сторінку з пошуку — noindex, не чіпаючи robots.txt. Хочете зекономити ресурс робота на сміттєвих адресах, які й так не мають індексуватись, — Disallow. Класичний приклад другого — нескінченні комбінації фільтрів у магазині, які плодять тисячі майже однакових адрес; ми розбирали цю історію окремо в матеріалі про пошук і фільтри в інтернет-магазині.

Помилки, які прибирають сайт із Google

Кілька типових ситуацій, від найфатальнішої:

• Disallow: / на робочому сайті. Це «не скануй нічого». Класика: сайт розробляли на тестовій адресі й закрили від пошуку, а при переїзді на робочий домен забули цей рядок прибрати. Сайт просто зникає з пошуку. Якщо ви зараз читаєте це й не перевіряли свій robots.txt — перевірте зараз, це 10 секунд. Це ж перша річ, з якої починають, коли розбираються, чому сайту немає в Google.
• Випадково закрита важлива папка. Наприклад, Disallow на каталог із товарами — і зникає весь каталог, а решта сайту на місці. Тому «сайт є в Google» ще не означає, що є всі сторінки.
• Sitemap із «мертвими» посиланнями. Карта, у якій сторінки віддають 404 або ведуть через редиректи, — це сигнал, що даним у ній довіряти не варто.
• Sitemap із закритими сторінками. Класична суперечність: у карті ви кажете «індексуй це», а в robots.txt — «не заходь сюди». Google повідомляє про такий конфлікт у Search Console.
• Sitemap, що не оновлюється. Нові сторінки в неї не потрапляють — і виявляються повільніше.
• Закриті CSS і скрипти. Google рендерить сторінку як браузер. Якщо заборонити йому доступ до оформлення, він побачить «поламану» сторінку — і оцінить її гірше.

Окремо: після переїзду сайту або редизайну перевірка цих двох файлів має бути першим пунктом, ще до того, як ви подивитесь на дизайн.

Як перевірити свої файли: міні-чек-лист

Нічого встановлювати не треба, більшість перевіряється в браузері за пару хвилин:

1. Відкрийте вашсайт.com/robots.txt. Файл узагалі є? Чи немає в ньому рядка Disallow: / без уточнень? Чи є рядок Sitemap: з адресою карти?
2. Відкрийте вашсайт.com/sitemap.xml. Він відкривається? Там актуальні сторінки — включно з тими, які ви додали нещодавно?
3. Клікніть кілька адрес із карти навмання. Усі відкриваються? Немає 404 і редиректів на інші адреси?
4. Зайдіть у Google Search Console (безкоштовний інструмент Google, який має бути підключений до кожного сайту). Розділ «Файли Sitemap» — карта подана, статус успішний, кількість знайдених URL схожа на правду?
5. Перевірте конкретну сторінку через інструмент перевірки URL у Search Console: він прямо скаже, чи проіндексована сторінка, а якщо ні — чому саме (наприклад, «заблоковано у файлі robots.txt»).
6. Порахуйте сторінки в звіті про індексацію. Якщо в карті 120 сторінок, а в індексі 12 — є про що поговорити з розробником.

Якщо на будь-якому з пунктів щось не сходиться — це не привід панікувати, але привід розібратись: технічна помилка тут знецінює всю решту роботи над контентом, від семантичного ядра до title і description. Сторінку, яку робот не бачить, не врятує жоден текст.

Головне

robots.txt — це записка роботу про те, куди не заходити: не захист, не заборона індексації, лише рекомендація. sitemap.xml — перелік сторінок, які ви хочете бачити в пошуку; його треба подати в Search Console й тримати актуальним. Найдорожча помилка — плутати Disallow із noindex: закрита в robots.txt сторінка з пошуку не зникає, а от noindex на ній робот уже не побачить. І найфатальніша — забутий Disallow: / після переїзду з тестового сервера, який просто прибирає сайт із Google. Перевірка обох файлів займає пʼять хвилин і має бути першим кроком у будь-якому технічному SEO — з цього ж починається SEO для малого бізнесу.

Ми в Obliko налаштовуємо robots.txt і автоматичну генерацію sitemap.xml як обовʼязкову частину кожного сайту, підключаємо Search Console й перевіряємо індексацію після запуску — щоб сторінки не зникали мовчки. Якщо є сумніви, що з вашим сайтом усе гаразд, напишіть нам його адресу — подивимось обидва файли й скажемо прямо, що там не так.