exelens 09.07.2010 12:54

Есть вопрос!Apache и индексация

Есть Apache и есть домена
1. ***.ru - основной
2. *.spb.ru - зеркало
3. *.tmweb.ru - непонятно зачем но там тоже зеркало.

Внимание вопрос:
Как закрыть от индексации поисковыми системами 2 и 3?
Если 2 точно направлен из той же директории что и 1.


Тэги: apache
+ 1 -
Похожие Поделиться

muhas 09.07.2010 13:20 #
странный вопрос, явно не по апачу и не по линуксу, ну да ладно.
1) не пускать по определенным адресам юзерагенты поисковиков
2) директива host в robots.txt для яши
3) линки на зеркалах на основной
4) поисковики сами выясняют что зеркало что нет, правда не всегда правильно - пунт 3 обычно помогает
5) заглушки с редиректом на основной на определенное время
6-*) блаблабла
*) PROFIT

как-то так =)
psychopomp 09.07.2010 17:14 #
Да, лучше всего - 301 редирект на основной сайт.
Собственно, именно этого поисковики и хотят добиться от сайтовладельцев.
wiz 09.07.2010 14:52 #
положить в 2 и 3 robots.txt в корень:
# go away
User-agent: *
Disallow: /
xT 09.07.2010 15:10 #
у него 2 - это тот же корень что и 1
exelens 09.07.2010 15:18 #
Именно так!
wiz 09.07.2010 15:22 #
Положить в левом месте robots.txt, а конфиге для нужных virtualhost сделать на него альяс.
xT 09.07.2010 15:49 #
нет, нужно делать как написано в посте muhas
только гуглобота еще там указать
wiz 09.07.2010 15:54 #
зачем так сложно?
xT 09.07.2010 16:00 #
наоборот всё просто. один robots.txt на всё про всё
wiz 09.07.2010 16:18 #
и сотни обвязки... или я чего-то не так понял?
чем не подходить вариант с альясом в конфиге хоста?
xT 09.07.2010 16:20 #
сотни чего?
вариант с альясом может не подойти, если до него нет доступа, например
wiz 09.07.2010 16:23 #
а если есть?
wiz 09.07.2010 16:24 #
непонятно почему "нужно" именно так, а не иначе.
psychopomp 09.07.2010 17:15 #
Это закроет от индексации и сайт 1 заодно.

А автору хочется не этого. А хочется, чтобы сайт 1 не вылетал из индекса за дублирующийся контент на 2 и 3 - поэтому роботам запретить туда ходить.
wiz 09.07.2010 19:01 #
тред не читай @ сразу отвечай
ArtemZ 09.07.2010 17:42 #
зеркала - как отдельные виртуалхосты с одинаковым документрутом должны быть
для разных виртуалхостов зеркал прописывам правила для разных robots.txt. с nginx было бы проще
TiGR 10.07.2010 23:31 #
1. Создаём blockrobots.txt, где запрещаем ботам ходить по сайту. Кладём в корень.
2. Создаём в корне же .htaccess вида

RewriteEngine on
RewriteCond {%HTTP_HOST} \.spb\.ru|\.tmweb\.ru
RewriteRule robots\.txt blockrobots.txt

Короче, отдавать блокирующий robots.txt только на нужных доменах.
TiGR 10.07.2010 23:31 #
Имелось в виду %{HTTP_HOST}