РЕКЛАМА
Роботс.тхт предназначен для запрещения поисковым системам индексировать какие-либо файлы или папки, для этого используют специальные параметры.
Disallow (запретить) - параметр для запрещения поисковым системам индексирование файла или папки, например:
Disallow: /images
Disallow: /contakt.html
Многие ошибочно используют параметр Allow (разрешить) - этот параметр использовать не нужно потому как robots.txt предназначен исключительно для запрещения и не может быть использован для разрешения индексации.
НОВОСТИ
Оставить комментарий
Связанные записи