Файл robots.txt

Нужен он или нет?
Если нужен, то что в нем писать граммотно и что это все даст? Давно хочу узнать все про это!
ЗЫ: ведь у меня есть IP поисковых роботов... вроде так, но что с этого толку...

http://web-dream.net/stat5.html
Вооот здесь очень хорошо все поразительно расписано. Отметим, ставим в View>Text size>large и читаем.

Ну так делать его или нет? За ссылку ! Может хотя бы по-новому запретить индексацию скриптов и папки cgi-bin? И еще вопрос: как индексируется база MySQL или она вообще не индексируется?

База она и в африке база .
Она не индексируеться, а вот форум индексируеться.
Ну вот на папку cgi-bin не знаю, а вот скрипты не надо трогать. Не будем забывать, например при поиске скрипта Форумы, человек зайдет в скрипт скриптов и скачает нужный скрипт .

Кто гармонично может мне создать robots.txt в режиме UNIX и прописать там без пробелов, сначала строки:
И потом прислать мне на мыло! !
ЗЫ: создать надо в текстовом формате Unix!