предприимчивый пекарь

АНДРЕЙ КАРОЛИК

Спецвыпуск: Хакер, номер #073, стр. 073-024-5

Если robots.txt абсолютно пустой, реакция роботов будет такой же, как если бы его не было вообще.

ТОП 10 ОШИБОК

1 ЗЛОУПОТРЕБЛЕНИЕ КОММЕНТАРИЯМИ. ЛЮБАЯ СТРОКА В ROBOTS.TXT, НАЧИНАЮЩАЯСЯ С #, СЧИТАЕТСЯ КОММЕНТАРИЕМ. СТАНДАРТ РАЗРЕШАЕТ ИСПОЛЬЗОВАТЬ КОММЕНТАРИИ И В КОНЦЕ СТРОК С ДИРЕКТИВАМИ, НО ЭТО СЧИТАЕТСЯ ПЛОХИМ СТИЛЕМ: DISALLOW: IMAGES #COMMENT). НЕКОТОРЫЕ ПАУКИ НЕ СМОГУТ ПРАВИЛЬНО РАЗОБРАТЬ СТРОКУ И ПОЙМУТ ЕЕ КАК ЗАПРЕТ НА ИНДЕКСАЦИЮ РЕСУРСОВ IMAGES#COMMENT. МОРАЛЬ — КОММЕНТАРИИ ДОЛЖНЫ БЫТЬ НА ОТДЕЛЬНОЙ СТРОКЕ.

2 ПРОБЕЛ В НАЧАЛЕ СТРОК. РАЗРЕШАЕТСЯ, НО НЕ РЕКОМЕНДУЕТСЯ. СВЯЗАНО ТАК ЖЕ С ТУПОСТЬЮ НЕКОТОРЫХ РОБОТОВ.

3 ПЕРЕВЕРНУТЫЙ СИНТАКСИС. ОЧЕНЬ ЧАСТО В СПЕШКЕ ИЛИ ПО НЕЗНАНИЮ МЕНЯЮТ МЕСТАМИ СОДЕРЖИМОЕ ПОЛЕЙ «USER-AGENT:» И «DISALLOW:».

4 НЕСКОЛЬКО ДИРЕКТИВ DISALLOW В ОДНОЙ СТРОКЕ (DISALLOW: /CSS/ /CGI-BIN/ /IMAGES/). РАЗЛИЧНЫЕ ПАУКИ ПОЙМУТ ЭТУ ДИРЕКТИВУ ПО-РАЗНОМУ. НЕКОТОРЫЕ ПРОИГНОРИРУЮТ ПРОБЕЛЫ И ПОЙМУТ ДИРЕКТИВУ КАК ЗАПРЕТ НА ИНДЕКСАЦИЮ СОСТАВНОГО КАТАЛОГА (/CSS//CGI-BIN//IMAGES/), ЛИБО УЧТУТ ТОЛЬКО ПЕРВЫЙ КАТАЛОГ (/CSS/), ИГНОРИРУЯ ВСЕ ОСТАЛЬНЫЕ.

5 РЕДАКТИРОВАНИЕ ФАЙЛА ROBOTS.TXT В ФОРМАТЕ DOS. ВСЕГДА РЕДАКТИРУЙ СВОЙ ROBOTS.TXT В РЕЖИМЕ UNIX И ЗАКАЧИВАЙ ФАЙЛ НА САЙТ В РЕЖИМЕ ASCII. МНОГИЕ FTP-КЛИЕНТЫ УМЕЮТ ПРИ ЗАКАЧКЕ В ТЕКСТОВОМ РЕЖИМЕ ПЕРЕВОДИТЬ СИМВОЛЫ СТРОКИ ИЗ DOS-ФОРМАТА В UNIX-ФОРМАТ. НО НЕКОТОРЫЕ ЭТОГО НЕ ДЕЛАЮТ.

6 РЕДИРЕКТ НА ДРУГУЮ СТРАНИЦУ ПРИ ОШИБКЕ 404. ВЕСЬМА РАСПРОСТРАНЕНО, КОГДА ВЕБ-СЕРВЕР ПРИ ОШИБКЕ 404 (ФАЙЛ НЕ НАЙДЕН) ВЫДАЕТ НЕКУЮ СТРАНИЦУ. ПРИ ЭТОМ ВЕБ-СЕРВЕР НЕ ВЫДАЕТ КЛИЕНТУ КОД ОШИБКИ И ДАЖЕ НЕ ДЕЛАЕТ РЕДИРЕКТА. В ЭТОМ СЛУЧАЕ РОБОТ НЕ ПОНИМАЕТ, ЧТО ФАЙЛ ROBOTS.TXT ОТСУТСТВУЕТ, ВМЕСТО ЭТОГО ОН ПОЛУЧИТ HTML-СТРАНИЦУ С КАКИМ-ТО СООБЩЕНИЕМ. НЕПОНЯТНО, КАК РАЗБЕРЕТ РОБОТ ЭТОТ HTML-ФАЙЛ, ПРИНЯВ ЕГО ЗА ROBOTS.TXT. ЧТОБЫ ЭТОГО НЕ ПРОИСХОДИЛО, ПОМЕСТИ В КОРНЕВОЙ КАТАЛОГ СВОЕГО ВЕБ-СЕРВЕРА ХОТЯ БЫ ПУСТОЙ ROBOTS.TXT.

7 КОНФЛИКТЫ ДИРЕКТИВ. НАГЛЯДНЫЙ ПРИМЕР — КОГДА ПЕРВАЯ ДИРЕКТИВА ЗАПРЕЩАЕТ ВСЕМ РОБОТАМ ИНДЕКСИРОВАТЬ САЙТ, А СЛЕДУЮЩАЯ ЗА НЕЙ, К ПРИМЕРУ, РАЗРЕШАЕТ КАКОМУ-ТО ОДНОМУ РОБОТУ ИНДЕКСАЦИЮ. НЕЛЬЗЯ ГАРАНТИРОВАТЬ, ЧТО ОН НЕ УЙДЕТ ПРЯМО С ПОРОГА УЖЕ ПОСЛЕ ПЕРВОЙ ДИРЕКТИВЫ.

8 СПИСОК ВСЕХ ФАЙЛОВ. НЕКОТОРЫЕ УМУДРЯЮТСЯ ПЕРЕЧИСЛЯТЬ ВСЕ ФАЙЛЫ В КАТАЛОГЕ, КОГДА КУДА ПРОЩЕ И ПРАВИЛЬНЕЕ ПРОСТО УКАЗАТЬ ДИРЕКТОРИЮ.

9 НЕТ ТАКОЙ ДИРЕКТИВЫ КАК ALLOW. ХОТЯ СПЛОШЬ И РЯДОМ МОЖНО ВСТРЕТИТЬ УПОТРЕБЛЕНИЕ ЭТОЙ НЕИЗВЕСТНОЙ ДИРЕКТИВЫ. ЕСТЬ ТОЛЬКО ДИРЕКТИВА DISALLOW!

10 НЕТ ОТКРЫВАЮЩЕЙ НАКЛОННОЙ ЧЕРТЫ ДЛЯ КАТАЛОГА. СОГЛАСНО СТАНДАРТАМ, В ЭТОМ СЛУЧАЕ ДОЛЖЕН СРАБОТАТЬ ДВОЙНОЙ ЗАПРЕТ — НА ФАЙЛ С ТАКИМ ИМЕНЕМ И НА КАТАЛОГ С ТАКИМ ЖЕ ИМЕНЕМ. НО ДЛЯ ВЕРНОСТИ НАКЛОННАЯ ЧЕРТА НУЖНА, ЧТОБЫ РОБОТ МОГ ОТЛИЧИТЬ КАТАЛОГ ОТ ФАЙЛА.

ИНТЕРВЬЮ

Один из наиболее продвинутых на сегодняшний день брокеров интернет-рекламы — PROSPERO.RU. К работе над этой системой приступили еще в 2003 году, и первый вариант (не запущенный в эксплуатацию) был готов в декабре 2003 года. Но работать система начала только в мае 2005 года, причем из первого варианта в окончательный было включено не более 10% кода. Сегодня система PROSPERO.RU — это более миллиона строк кода. Суммарное время, затраченное на ее разработку — более 30 человеколет. Сейчас над проектом трудится 9 человек. И с одним из них, Дмитрием Глухих, начальником отдела оптимизации ЗАО «Цифровые технологии», нам удалось побеседовать.