Что такое robots.txt?

robots.txt

Файл robots.txt предназначен указания поисковым ботам куда можно заглянуть,  а куда соваться не стоит. Все это можно регулировать с помощью двух директив allow (позволить) и disallow (запретить)

Не надо думать что robots.txt это что-то сложное, и нужны навыки программирования.

В этом видео все подробно и кратко рассказано.

Думаю будет полезно узнать начинающим вебмастерам.

P/s это и для yandex и Google и для других ПС.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

*

Можно использовать следующие HTML-теги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>