Robots.txt: создаем файл правильно
Очень многие сегодня говорят о том, надо ли что-либо прятать на своем сайте от поисковиков или не надо? А если надо - то что? На одном форуме мы даже вступили в интересную горячую дискуссию по этому поводу и так и не нашли однозначный ответ - каждый на своем личном опыте отстаивал свою позицию. Но если закрытие от поисковиков лишних внешних исходящих ссылок выбывает двоякие мнения, то файл robots.txt стараются создавать все ВМ. Давайте же поговорим о том, что такое robots.txt, с чем его едят и что в нем прописывать, чтобы поисковики нас любили и пускали и основательнее поближе в ТОП. 
Файл robots txt: делаем с умом!
Сам Яндекс по этому поводу говорит, что:
Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Воспользуйтесь любом текстовым редактором (например, Блокнотом или WordPad'ом), создайте файл с именем "robots.txt" и заполните его в соответствии с правилами. После этого необходимо загрузить файл в корневой каталог вашего сайта.
А вот что конкретно писать в файл robots txt и что запрещать поисковикам - каждый решает сам.
Но чтобы было наглядно, рассмотрим один пример:
Robots.txt
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /wp-admin Disallow: /wp-includes Disallow: /tag Disallow: /category Disallow: /wp-content Disallow: /archive Disallow: */trackback/ Disallow: */feed/ Disallow: */comments/
Так будет выглядеть ваш файл, если вам нужно закрыть все дубли в контенте от поисковиков (и кстати, подняться даже за счет этого немного в выдаче): мы закрыли вход в админку, категории, архивы, комментании, метки, трекбеки и т.п.
Если нужно указать зеркало сайта - даем команду :
Host: ваш сайт.ru
И обязательно прописываем расположение нашей карты сайта:
Sitemap: http://ваш сайт.ru/sitemap.xml
Главное - при составлении файла robots txt - не закрыть случайно весь текст или нужные вам страницы или разделы.
Кстати, для того, чтобы посмотреть, как настроен конкретный файл конкретного сайта, можно просто ввести в браузере следующий адрес:
http://ваш сайт.ru/robots.txt
И еще - я бы советовала создавать файл robots.txt сразу же при создании сайта и уж не спешить что-то в нем запрещать, когда на сайте уже тысячи сраниц - практика показывает, что от этого сайт может здорово пострадать, в том числе и потерять значительные трафик и позиции в ТОПе. 
Рубрика: Познаем php и html
Первого апреля яндекс выкинул все страницы моего блога, кроме трех. Шутник!! Ответ Платона не нес никакой информации.
Мы с ВМ решили, что контент где-то дублируется (в сети читала, что яндекс из-за этого блоги на вордпрессе не любит). Так что моему ВМу пришлось через роботс все, что только можно, закрыть (ваш первый пример напоминает).
Теперь ждем результата…
Согласен, наш любимый Яша имеет свойство ругаться на дубли. Спасибо за пост! Приятно видеть грамотную статью технического характера от девушки, да еще и гуманитария =) А то мне всё недосуг было пофиксить robots, вот теперь наконец дошли руки.
Я тоже долго не уделяла этому файлу значения. Но сделав качественный Robots.txt на одном сайте — увидела через очень короткий промежуток времени результат. Теперь сказала твердое нет дублированию контента на своих сайтах и блогах.
Рада, что мои посты-мысли тоже кого-то «подстегивают» делать свои ресурсы лучше. 
Фуххх! Наконец-то нашел, как сделать правильно файл robots txt! Четко и лаконично, спасибо!
Я раньше не делал Robots.txt, а потом сайты стали попадать в бан. Не знаю, совпадение ли, но после того, как узнал про необходимость этого файла и сделал по правилам, убрал дубли, 2 сайта вышли из бана.
Спасибо за хорошую статью про то, как создать правильно robots.txt!