Блогнот

Ночью 4 сентября на один из проектов пришел робот рамблера с твердым намерением выкачать все адреса, которые он знает. Все было бы отлично, но проблема в том, что у сайта 1,5 млн. страниц и процесс качания затянулся уже на двое суток. Примечательно, что страницы выкачивает строго по алфавиту и можно предположить, что на данный момент он знает примерно 0,5 млн. адресов и закончит закачку к понедельнику. А пока он качает, сервер загружен на 50%, что конечно же сказывается на скорости других сайтов расположенных на сервере, но вполне приемлемо. Думаю на виртуальном хостинге уже давно бы прекратили это безобразие и отключили бы аккаунт за очень большую нагрузку. Кстати, пока писал, вспомнил, что таким качанием, рамблер сожрет всю квоту на трафик отведенную под сайт, придется ее увеличивать. Посмотрим, чем все это закончится, хотел бы увидеть пол ляма страниц в индексе. Загибающийся рамблер еще фору даст другим поисковикам по индексированию (в частных случаях :) )
Сравнение индексируемости у Гугла и Яндекса