Все поисковые боты при заходе на сайт в первую очередь ищут этот файл. Robots.txt — текстовый файл, который расположен в корне сайта и содержит инструкции для поисковых систем относительно данного сайта. В этом файле веб-мастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности.

В большинстве случаев стандартного варианта robots.txt более чем достаточно. Если же Вам необходимо изменить стандартный вариант - сделать это можно при помощи текстового редактора. Главное не забывайте после внесенных изменений проверить корректность Вашего robots.txt при помощи панели вебмастера Гугла или Яндекса.

Полезные ссылки по данному вопросу: