Файл с именем "robots.txt"
Файл robots.txt - указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем

"robots.txt" (http://www.mydomain.com/robots.txt).

Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

robots.txt состоит из двух полей:

   1. User-agent - название робота,
   2. Disallow - запрет на индексирование файла или директории.
   3. комментарии - начинаются с новой строки с #.

ПРАВИЛА
Редакторы
robots.txt должен создаваться в текстовом формате.
В качестве редактора можно использовать блокнот, FTP-клиент, некоторые HTML-редакторы.

Название
robots.txt, а не robot.txt или Robots.txt, иначе не будет работать.

Местонахождение
Файл robots.txt должен располагаться в корневом каталоге.

Пробелы
<Поле> ":" <значение>
Пробелы не имеют значения.

Комментарии
Комментарии - начинаются с новой строки с #. Пробел после # не обязателен.

Порядок
1-я строка User-agent, которая определяет робота,
а последующая Disallow определяет файл или папку, закрытую для индексирования.

Если запрет относится к ряду роботов, то они пишутся один за одним отдельно, а потом запрет или перечень запретов, например:

Код:
User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news

#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

То же самое и для Disallow - каждый запрет с новой строчки.

Если же для разных роботов разные запреты, то они разделяются пустой строкой, например:

Код:
User-agent: *
Disallow: /news

# запретить всем роботам индексировать ссылки,
#которые начинаются с /news

User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng

User-agent: Yandex
Disallow:
#Яндексу разрешить все.

Запрет всем роботам индексацию файлов с расширениями .doc и .pdf:

Код:
User-Agent: *
Disallow: /*.doc$
Disallow: /*.pdf$

ПРИМЕРЫ

Код:
User-agent: Roverdog
Disallow: email.htm

Разрешает всем роботам индексировать все:

Код:
User-agent: *
Disallow:

Запрещает всем роботам всё:

Код:
User-agent: *
Disallow: /

Запрещает всем роботам индексировать файл email.htm, все файлы в папке "cgi-bin" и папке 2-го уровня "images":

Код:
User-agent: *
Disallow: email.htm
Disallow: /cgi-bin/
Disallow: /images/

Запрещает роботу Roverdog индексировать все файлы сервера:

Код:
User-agent: Roverdog
Disallow: /

Еще пример:

Код:
User-agent: *
Disallow: /cgi-bin/moshkow
Disallow: /cgi-bin/html-KOI/AQUARIUM/songs
Disallow: /cgi-bin/html-KOI/AQUARIUM/history
Disallow: /cgi-bin/html-windows/AQUARIUM/songs
Disallow: /cgi-bin/html-windows/AQUARIUM/history

МЕТА-тег ROBOTS
МЕТА тег robots служит для того, чтобы разрешать или запрещать роботам, приходящим на сайт, индексировать данную страницу. Кроме того, этот тег предназначен для того, чтобы предлагать роботам пройтись по всем страницам сайта и проиндексировать их. Сейчас этот тег приобретает все большее значение.

Код:
<HTML>
<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="DESCRIPTION" CONTENT="Эта страница ….">
<TITLE>...</TITLE>
</HEAD>
<BODY>

NOINDEX - запрещает индексирование документа;
NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
INDEX - разрешает индексирование документа;
FOLLOW - разрешает проход по ссылкам.
ALL - индексировать всё, равносильно INDEX, FOLLOW
NONE - не индексировать ничего, равносильно NOINDEX, NOFOLLOW

Примеры мета-тега robots:

Код:
<META NAME=ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME=ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

Генератор файла и тега Robots http://scriptozna.ucoz.ru/index/0-8
Бесплатная проверка функциональности файла robots.txt http://tool.motoricerca.info/robots-checker.phtml-