Добавлен инструмент формирования sitemap'ов. При формировании sitemap учитывается содержание файла robots.txt. Учитываются директивы Host, Disallow, Crawl-delay, Clean-param. Возможно задать по фрагменту URL параметры lastmod, changefreq, priority. Сформировав sitemap, разместите его на своем сайте и добавьте url в robots.txt и
https://www.google.com/webmasters/tools/submit-url. В отличие от прочих сервисов, ограничивающих объем бесплатно формируемого файла, услуга предоставляется совершенно бесплатно.
Новость на форуме:
https://prospero.ru/phorum-message/14/129/1/index.html
С наилучшими пожеланиями,
команда prospero.ru