• Добро пожаловать на инвестиционный форум!

    Во всем многообразии инвестиций трудно разобраться. MMGP станет вашим надежным помощником и путеводителем в мире инвестиций. Только самые последние тренды, передовые технологии и новые возможности. 400 тысяч пользователей уже выбрали нас. Самые актуальные новости, проверенные стратегии и способы заработка. Сюда люди приходят поделиться своим опытом, найти и обсудить новые перспективы. 16 миллионов сообщений, оставленных нашими пользователями, содержат их бесценный опыт и знания. Присоединяйтесь и вы!

    Впрочем, для начала надо зарегистрироваться!
  • 🐑 Моисей водил бесплатно. А мы платим, хотя тоже планируем работать 40 лет! Принимай участие в партнеской программе MMGP
  • 📝 Знаешь буквы и умеешь их компоновать? Платим. Дорого. Бессрочная акция от MMGP: "ОПЛАТА ЗА СООБЩЕНИЯ"

Анализ robots.txt

Vnahaliavu

Интересующийся
Регистрация
12.11.2009
Сообщения
11
Реакции
0
Поинты
0.000
ну вот он:
Это обозначает, что все роботы могут индексировать весть сайт.

User-agent: Yandex
Disallow:
Host: foreks-birjga.msk.ru
Это для Яндекса, что он может индексировать весь сайт и foreks-birjga.msk.ru - является главным зеркалом. Для яндекса прописано отдельно, так как только он понимает (а точнее пытается понять) директиву host

Про синтаксис роботса написано здесь: http://robotstxt.org.ru/RobotsExclusion/guide
 

varenik

Интересующийся
Регистрация
29.01.2010
Сообщения
57
Реакции
0
Поинты
0.000
я им вообще не пользуюсь
 
Сверху Снизу