Ждал его, ждал и вот он пришел. Не могу сказать, что очень обрадовался, куда деваться столько посетителей, которые просматривают 1.8 страниц за 0.5 минуты. Баннерную сеть что ли какую-нибудь повесить. Подскажите, может кто знает, с адекватными ценами за показы или может быть клики, тематика домены, хостинг.
птак, по порядку. Ночью, 4 сентября, на один из проектов пришел робот Рамблера и качал его без передышки трое суток. В один поток загружал более 6000 страниц в час и за 3 суток накачал около 360 тысяч страниц. После этого прошло 2 небольших апдейта, когда в индексе добавились новые страницы: 9 сентября +500 страниц и 10 сентября +300 страниц (к 7000 в индексе) .
Сегодня, при просмотре статистики посещаемости, в 11 часов обнаружил всплеск кол-ва посетителей. Переходы с поисковых систем показывают, что значительно выросла доля Рамблера. Среднее время просмотра страниц сократилось с 0.6 до 0.5 мин. Проверил индекс, проиндексировано 320 тысяч страниц – практически все что скачал. Получается, что проиндексированные страницы появляются в индексе рамблера через неделю и это не связано с апдейтом. Анализатор апдейтов показывает, что апдейт был только 11 сентября. Посмотрим, покажет ли анализатор завтра апдейт.
yakodzun, 2008-09-18 @ 08:01
Вчера опять пришел со зверским аппетитом, качает раза в 3 больше, но нагрузка теперь раза в 2 меньше. В надежде найти директиву Crawl-Delay полез в раздел для вебмастеров Рамблера, но к сожалению ничего кроме Disallow нет.