Всем привет !
Прочитав данную статью, вы узнаете — как проверить файл robots.txt на наличие ошибок. Проверять данный файл мы будем в сервисе гугл вебмастер. Кстати, чтобы проверить файл robots.txt в сервисе гугл вебмастер, вам необходимо добавить свой сайт в гугл вебмастер, так что если вы ещё не сделали это, то вперёд и с песней. Итак, не будем тянуть и приступим к делу.
Зайдите на главную страницу гугл вебмастер и нажмите на вкладку с адресом вашего сайта, доменным именем — wdfiles.ru
Далее, в панели инструментов, слева в боковой колонке, перейдите по вкладке: Сканирование — Инструмент проверки файла robots.txt.
Далее, на странице инструмент проверки файла robots.txt, вам будет показан ваш файл robots.txt, конечно если он есть на вашем сайте. И здесь же, сразу же, будет показано есть ли ошибки или предупреждения в вашем файле robots.txt.
Как видите в моём файле — 0 ошибок и 0 предупреждений, а это значит можно закрывать сервис гугл вебмастер и идти гулять по своим делам. Дело сделано, да кстати, не забудьте так же проверить файл robots.txt в Яндекс вебмастер. Потому что мало ли что, у каждого поисковика свои заморочки. А у меня всё на этом, до новых встреч !
