Может кто-то понимает, что это значит? Это написали про dailyadsincome. "БЛОКИРОВКА URL ПРИ ПОМОЩИ ФАЙЛА ROBOTS.TXT это специальный файл, расположенный в корневом каталоге сайта. Веб-мастер указывает в нем, какие страницы и данные не следует индексировать. Файл содержит директивы, описывающие доступ к разделам сайта (так называемый стандарт исключений для роботов). Например, с его помощью можно создать отдельные настройки доступа для поисковых роботов, предназначенных для мобильных устройств и обычных компьютеров." Что это человеческим языком?