Существует ошибочное мнение, что при поисковой оптимизации сайтов (SEO) дело ограничивается контентом, заголовками и тегами. А вот о технической составляющей оптимизации часто не задумываются.
Техническая оптимизация заключается в доработке скриптов и файлов ресурса. Некоторые файлы, например, влияют на порядок индексации и переиндексации страниц webсайта.
Файл robots.txt определяет принципы работы поисковых ботов с сайтом, от этого зависят вышеупомянутые индексация и переиндексация.
Такой файл дает возможность задать частоту обращения поисковых ботов к каждой из страниц ресурса и определить приоритетность обращения к некоторым страницам поисковых систем, а также запретить индексацию определенных страниц.
Файл sitemap.xml нужен в том случае, если сайт имеет большое количество динамических страниц. Этот файл позволяет создать карту сайта, это значительно упрощает пользователям работу с многостраничным ресурсом. Пользуясь картой, посетитель без труда найдет любую динамическую или глубоколежащую страницу.
Кроме того, не только весь сайт, но и многие отдельно взятые страницы нуждаются в технической оптимизации.
Для того, чтобы индексации скриптов и других, не предназначенных для пользователей приложений не происходило, она может быть запрещена при помощи указанных технических файлов.