exelens 09.07.2010 12:54
Есть вопрос! — Apache и индексация
Есть Apache и есть домена1. ***.ru - основной
2. *.spb.ru - зеркало
3. *.tmweb.ru - непонятно зачем но там тоже зеркало.
Внимание вопрос:
Как закрыть от индексации поисковыми системами 2 и 3?
Если 2 точно направлен из той же директории что и 1.
Да, лучше всего - 301 редирект на основной сайт.
Собственно, именно этого поисковики и хотят добиться от сайтовладельцев.
Собственно, именно этого поисковики и хотят добиться от сайтовладельцев.
положить в 2 и 3 robots.txt в корень:
# go away
User-agent: *
Disallow: /
Положить в левом месте robots.txt, а конфиге для нужных virtualhost сделать на него альяс.
нет, нужно делать как написано в посте muhas'а
только гуглобота еще там указать
только гуглобота еще там указать
и сотни обвязки... или я чего-то не так понял?
чем не подходить вариант с альясом в конфиге хоста?
чем не подходить вариант с альясом в конфиге хоста?
сотни чего?
вариант с альясом может не подойти, если до него нет доступа, например
вариант с альясом может не подойти, если до него нет доступа, например
Это закроет от индексации и сайт 1 заодно.
А автору хочется не этого. А хочется, чтобы сайт 1 не вылетал из индекса за дублирующийся контент на 2 и 3 - поэтому роботам запретить туда ходить.
А автору хочется не этого. А хочется, чтобы сайт 1 не вылетал из индекса за дублирующийся контент на 2 и 3 - поэтому роботам запретить туда ходить.
зеркала - как отдельные виртуалхосты с одинаковым документрутом должны быть
для разных виртуалхостов зеркал прописывам правила для разных robots.txt. с nginx было бы проще
для разных виртуалхостов зеркал прописывам правила для разных robots.txt. с nginx было бы проще
1. Создаём blockrobots.txt, где запрещаем ботам ходить по сайту. Кладём в корень.
2. Создаём в корне же .htaccess вида
RewriteEngine on
RewriteCond {%HTTP_HOST} \.spb\.ru|\.tmweb\.ru
RewriteRule robots\.txt blockrobots.txt
Короче, отдавать блокирующий robots.txt только на нужных доменах.
2. Создаём в корне же .htaccess вида
RewriteEngine on
RewriteCond {%HTTP_HOST} \.spb\.ru|\.tmweb\.ru
RewriteRule robots\.txt blockrobots.txt
Короче, отдавать блокирующий robots.txt только на нужных доменах.
1) не пускать по определенным адресам юзерагенты поисковиков
2) директива host в robots.txt для яши
3) линки на зеркалах на основной
4) поисковики сами выясняют что зеркало что нет, правда не всегда правильно - пунт 3 обычно помогает
5) заглушки с редиректом на основной на определенное время
6-*) блаблабла
*) PROFIT
как-то так =)