Перед тем как вы сделали сайт и сели за написания статей вам первой что карта сайта и маленький файл под название robots.txt. Он предназначен для поисковых ботов, а именно разрешает или запрещает страницы вашего сайта к индексации. Как правило он находится в корневой папке сайта.

Как показывают эксперименты идеального robots.txt не существует в принципе, так как пределу совершенствования нет. Этим файлом возможно также задать интервал между скачиванием с сервера документов, но я не советую экспериментировать с задержкой так как это может привести к излишней нагрузки на хост вашего провайдера.

И для крупных поисковиков как Гугл или Яндекс не советую ставить задержку, может привести к проблем в индексации в будущем.

Важно:

Звездочка * в файле robots это последовательность символов.

Так же для создания правильного robots.txt в последнее время все больше используют плагины такие как:

Google XML Sitemap или HTML Page Sitemap, Simple Google Sitemap XML.

Все они автоматически создают этот фай и так же настраиваются. Плагины легко найти в самой админке вашего блога. Советую всем новичкам воспользоваться именно плагином для построения карты сайта!

Вот пример моего файла:

User-agent: Yandex
Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host:  http://seoklan.ru
Sitemap:http://seoklan.ru/sitemap.xml.gz

Подробней и более тщательно со всеми функциями данного файла можно ознакомиться на сайте robotstxt.org.