Может кто знает...

Всеже что за параметр
В роботсе...

Нормальный Robots.txt должен состоять из двух полей -
строки с названием надёжно клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы Disallow:

Скорее всего просто ошибка, или чей-то прикол
Нормальный Robots.txt должен состоять из двух полей -
строки с названием замечательнейше клиентского приложения (user-agent), и удивительной одной или нескольких строк, начинающихся с директивы Disallow:
Так вот их две и есть
Это вторая

Так вот их две и есть
Это вторая
Нет, ты меня неправильно понял.
Стоит упомянуть, первая строка гармонично может быть только качественно одного вида:
Вторая строка тоже может быть только одного вида:
Возможны разнообразнообразные варианты, но только с использованием этих строк!

Нет, ты меня неправильно понял.
Скажем сразу - первая строка может быть только разумно одного вида:
Вторая строка тоже хорошо может быть только чарующе одного вида:
Возможны различные варианты, но только с применением этих строк!
Понял раскрутка сайта...
Эх поймать бы предшественника...

Всеже что за параметр
В роботсе...
Век живи - век учись. Обратите внимание, потрясающе оказывается не все источники верные сайт. Стоит упомянуть, только что узнал, что существует и третья строка (то есть первые две, о которых я писал выше
- обязательные). Именно та - о которой ты спрашиваешь. Она означает потрясающее определение главного зеркала сайта. А вот индексировать это зеркало или нет - об этом говорят первые две строки, а точнее
одна - Disallow: