• Реклама: 💰 Пополни свой портфель с минимальной комиссией на Transfer24.pro
  • Добро пожаловать на инвестиционный форум!

    Во всем многообразии инвестиций трудно разобраться. MMGP станет вашим надежным помощником и путеводителем в мире инвестиций. Только самые последние тренды, передовые технологии и новые возможности. 400 тысяч пользователей уже выбрали нас. Самые актуальные новости, проверенные стратегии и способы заработка. Сюда люди приходят поделиться своим опытом, найти и обсудить новые перспективы. 16 миллионов сообщений, оставленных нашими пользователями, содержат их бесценный опыт и знания. Присоединяйтесь и вы!

    Впрочем, для начала надо зарегистрироваться!
  • 🐑 Моисей водил бесплатно. А мы платим, хотя тоже планируем работать 40 лет! Принимай участие в партнеской программе MMGP
  • 📝 Знаешь буквы и умеешь их компоновать? Платим. Дорого. Бессрочная акция от MMGP: "ОПЛАТА ЗА СООБЩЕНИЯ"

robots.txt - информация для новичков

savit

Любитель
Регистрация
10.07.2007
Сообщения
200
Реакции
2
Поинты
0.000
Если вы внимательно посмотрите на логи своего сервера, то вероятнее всего увидите что когда к вам на сайт приходят боты поисковых систем, то первое что они запрашивают это /robots.txt .

robots.txt должен находиться в корне вашего сайта, обязательно (!) должен быть написан маленькими буквами (не заглавными) и задавать исключения для ботов!

Для чего это все нужно? Для того чтобы поисковые сситемы не индексировали то, что не нужно ... например файлы с профилями пользователей на форумах т.к это отвлекает бота от индексации того что нам нужно + в профилях пользователей содержатся ссылки на их сайты (а как вы знаете чем меньше исходящих ссылок с вашего сайта, тем лучше! )

Из чего состоит robots.txt :

User-Agent: имя бота (можете посмотреть в логах своего сервера)

Disallow: путь к файлу(ам) или папкам к которым бот не должен иметь доступа, и соответственно не индексировать

# - полсе данного знака можно указаывать комментарии

Примеры:

User-agent: Yandex
Disallow: /mysecretfolder/
Disallow: /showprofile.html

# Запрещает ботам Яндекса посещать папку http://site.ru/mysecretfolder/
# и файл http://site.ru/showprofile.html


User-agent: Aport
User-agent: Googlebot
Disallow: /myfolder/img/

# Запрещает ботами Google и Апорт посещение http://site.ru/myfolder/img/


User-agent: StackRambler
Disallow:

# Для бота поисковой системы Рамблер разрешено посещение всех
# страниц и папок сайта


User-Agent: *
Disallow: /profile.php?act=show

# Запрещает посещение всеми ботами, для которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://site.ru/profile.php?act=show
# например: http://site.ru/profile.php?act=show&id=77
# чувствительно к порядку переменных в ссылке
 
Последнее редактирование:

Demark

Интересующийся
Регистрация
02.08.2007
Сообщения
165
Реакции
5
Поинты
0.000
Оптимизация оптимизацией, а файла такого быть не ДОЛЖНО. Это мой совет. Сам раньше занимался сетевой безопасностью с плохой стороны, так вот хакер при заходе на сайт первым делом проверяет этот файл, если он есть, то там прописаны все директории и папки и файлы куда заходить поисковику не нужно, значит там в открытом виде не публичные данные. Иногда доходило до абсурда, типа файлов с паролями или wmsigner. Вобщем, если файлы уж очень важные лучше с настройками апача поработать получше. А с файликом поосторожней этим.
 

Slava Ivanov 1851950809

Любитель
Регистрация
03.10.2014
Сообщения
309
Реакции
16
Поинты
0.572
Перед тем, как приступить к настройке robots.txt для сайтов, советую новичкам ознакомиться с официальными рекомендациями Яндекса и Google по этому вопросу. Однако, как обычно и бывает, инфа там не очень легка для восприятия, поэтому вот тут https://netrocket.com.ua/blog/chto-takoe-fajl-robots-txt/ разложил все по полочкам и с картинками :)
 

Демон тьмы

Интересующийся
Регистрация
06.08.2015
Сообщения
6
Реакции
0
Поинты
0.000

incolor

Любитель
Регистрация
26.11.2016
Сообщения
578
Реакции
51
Поинты
0.000

sistar-fx

Любитель
Регистрация
18.02.2016
Сообщения
188
Реакции
16
Поинты
0.000
Сверху Снизу