Вот так нас нагружают...

[Vadim]

Захожу утром на форум и вижу:

За последние 15 минут форум посетило:

9 гостей, 2 пользователей 0 скрытых пользователей

Vadim, Jura, Yandex Bot, Gigablast Bot, StackRambler Bot, MSN Bot, Google Bot

А ведь они выкачивают по странице в секунду...

[Rexther]

Захожу утром на форум и вижу:

За последние 15 минут форум посетило: 

9 гостей, 2 пользователей 0 скрытых пользователей

Vadim, Jura, Yandex Bot, Gigablast Bot, StackRambler Bot, MSN Bot, Google Bot

А ведь они выкачивают по странице в секунду...

<{POST_SNAPBACK}>

Ты имеешь ввиду этих Bot-ов? Это роботы поисковиков?

Но ведь они наверно как-то влияют на известность сайта?

[Alex IlI]

Я уже писал как-то, что MSN - самый зловредный топтун, и пользы от него в Рунете на грош. Роботс текстом по сусалам. (Можно попробовать наладить подмену robots.txt по расписанию.) А вот Гугль в Рунете, похоже, заметно прибавляет.

[Tehnolog]

Захожу утром на форум и вижу:

За последние 15 минут форум посетило:

9 гостей, 2 пользователей 0 скрытых пользователей

Vadim, Jura, Yandex Bot, Gigablast Bot, StackRambler Bot, MSN Bot, Google Bot

А ведь они выкачивают по странице в секунду...

Вадим, привет. На сколько я знаю, без ограничений на сканирование для ботов, Yandex пропахивает весь форум полностью, включая все сообщения об ошибках, каждую страницу календаря и т.д.

Почему остальные поиковики не копают так глубоко?

 

Тут было мнение по поводу MSN, что он вредный. Чем он вреден?

 

И еще вопрос. Ты говоришь "по странице в секунду".. Это для сервака плохо?

 

Из статистики прохода ботов по одному форуму...:

 

MSN Bot 490

 

Yahoo Bot 31

 

StackRambler Bot 452

 

Aport Bot 3

 

Yandex Bot 12095

 

Gigablast Bot 1

Edited July 25, 2006 by tehnolog