Close

Для чого потрібні файли Sitemap.xml і Robots.txt?

Sitemap

Sitemap.xml – файл у форматі XML, містить посилання на усі відкриті і активні сторінки сайту, розміщується у кореневій директорії сайту (/sitemap.xml).  Дуже важливий з точки зору пошукової оптимізації. Відображає структуру сайту. З його допомогою пошукові системи дізнаються про будь-які оновлення на сайті, їх частоту, а також приорітет.  Якщо sitemap відсутній – пошуковик не регулярно заглядатиме на сайт та індексуватиме зміст як заманеться. Нові сторінки протраплятимуть у пошук повільно. Відповідно, кількість відвідчувачів не зростатиме. Файлів Sitemap може бути декілька. Не рекомендується, щоб він перевищував 50 Мб. Щоби повідомити про нього пошуковим системам, рекомендується вказати його місцерозташування в файлі robots.txt

Robots

Robots.txt – файл у форматі TXT, з кодуванням UTF-8, містить набір команд та інструкцій для пошукових роботів, розміщується у кореневій директорії сайту (/robots.txt). Працює на http та https з’єднаннях. Файл не повинен перевищувати 500 Кб. Відсутність robots.txt породує вразливість в безпеці сайту, пошуковик зможе сканувати і відправляти в пошукову видачу все, що “лежить” на сервері. Тобто, у вільний доступ потрапить конфідеційна інформація, паролі, доступи користувачів та адміністраторів сайту, системні файли і папки, логи сервера, файли конфігурації, а також різноманітні дублі сторінок, динамічні URL та багато всього іншого. Це надзвичайно негативно повпливає на технічний стан сайту вцілому. Файл Robots.txt дає можливість створити певні правила для пошуковиків, наприклад вказати які саме файли і папки дозволено індексувати, а які ні. Можна закрити від пошуку небажану, адміністративну інформацію, розділи і сторінки. Безпека сайту буде в надійності. Файл був прийнятий як стандарт у 1994 році W3C консорціумом, а у 1995-му його почали вперше сприймати пошуковики.

 

1 бал2 бали3 бали4 бали5 балів (1 голос, 5,00 з 5)
Loading...
Поділитися на facebook
Facebook 0
Поділитися на vk
VK 0
Поділитися на twitter
Twitter
Поділитися на linkedin
LinkedIn 0