Проблема: зеркала Яндекса
В последнее время я все больше недоумевал по-поводу того, что мой СДЛ не нравится Яндексу. С продвижением все нормально, сайт качественный, но хороших позиций не было и не было. Я считал, что это просто так называемая песочница, однако несколько дней назад наткнулся на статью о том, что Яндекс неправильно может учитывать основной сайт и его зеркала.
Вообще зеркалом называется сайт, который частично или полностью повторяет (копирует) другой сайт. Такой ход полезен обычно корпоративным ресурсам или крупным порталам, чтобы эти проекты при любых технических нагрузках и сложностях могли оставаться “на линии”.
Но, для своего СДЛ не было запланировано никаких зеркал, только вот Яндекс начал думать немного по-другому. У Яндекса есть бот-зеркальщик, который находит зеркала сайтов по всему инету и записывает их в свою базу. Дальше эти сайты не участвуют в поиске и выдаче, или участвуют в маленькой доле, им даются очень слабые позиции.
Моя проблема оказалась в том, что Яндекс определил домен www.site.ru за основной сайт, а домен site.ru (без www) за его зеркало. Хотя в процессе продвижения проекта все ссылки на сайт были без www. Чтобы определить как смотрит на вас Яндекс в этом отношении – достаточно просто ввести название домена в поиск. Давайте проведем сравнение не примере двух поисковых запросов в Яндексе с названием известных доменов:
1. Ввожу запрос hitwise.com:
Я выделил имя домена в выдаче. Яндекс видит его с приставкой www. Для него это является основным сайтом, в то время как hitwise.com он рассматривает как зеркало.
2. Ввожу запрос twitter.com:
Здесь Яндекс видит этот домен без приставки www. Поэтому для Яндекса twitter.com является основным сайтов, который в полной мере участвует в поиске.
Поэтому стоит учесть, что приставка www очень даже принципиальна и в процессе наращивания ссылочной массы определитесь как это делать, с приставкой или без. Если же у вас аналогичная проблема и Яндекс не правильно определил зеркала, то можно это поправить с помощью несложных действий. Можно сделать это так, как рекомендует Яндекс, в файл robots.txt прописать директиву Host. Это будет выглядеть таким образом:
User-Agent: *
Disallow:
Host: www.site.ru
То есть здесь мы говорим, что основным сайтом является сайт с приставкой www. Соответственно если убрать www, то скажем, что основной проект у нас без приставки. При таком решении Яндекс придет и в течении недели полностью переиндексирует ваш сайт, потом все должно стать на свои места.
Есть и другой вариант, который был применим к СДЛ, над которым я работаю. С домена www.site.ru был проставлен 301-ый редирект на домен site.ru. В таком случае Яндексу даем понять, что основной сайт переехал и живет теперь там, а заново индексировать содержимое нету смысла. Это должно сэкономить время, по сравнению с первым методом. У Гугла такая система тоже работает, но он более корректно определяет основу и зеркала, с ним пока проблем не было.
----------------------------------Понравилась статья? Подпишись на обновление блога через RSS или e-mail! 
Без www — это в смысле просто
Host: site.ru ?
?
Alex, да.
Вопрос к автору блога – как быть, если домены разные? Хватит ли для Яшки 301-редиректа для склейки с сохранением ТИЦ и ссылочного?
Большое спасибо за ответ.
У мого сайта такая же проблема – в выдаче сайт отображается с www, хотя я нигде так ссылки не ставил. Этот сайт (с www) уже даже тИЦ 10 имеет. Столько же у главного зеркала.
Вопрос автору – в robots.txt просто убрать “www.” или вписать еще “http://” ?
www вообще надо выкидывать, кстати я когда игрался с robots.txt то случайно перегнал тИЦ не туда )))
Уважаемый автор, расскажите пожалуйста, а дальше-то что было? Изменил ли яндекс после этого главное зеркало? Если да, то поднялся ли ваш сайт в поиске?