Увеличивает ли частота сканирования GoogleBot и MSNBot с лучшим временем отклика?

У нас есть сетевые аварийные сигналы входа/выхода, установленные в наших экземплярах AWS EC2. В то время как экземпляр работал горячим (более медленное время отклика - процессор колеблется около 85%), я заметил, что наша сеть в/вых была ниже 2.0E7 байт.

Когда мы обновили и изменили ситуацию, а наш процессор снизился примерно до 30%, кажется, что мы теперь чаще обходимся.

Всякий раз, когда мы меняем типы экземпляров, я заметил несколько значительных кратковременных всплесков. Я подозреваю, что сканеры делают что-то вроде этого, обнаруживая время отклика, тем самым диктуя их частоты сканирования.

Я действительно понимаю, что могу установить скорость обхода в файле robots.txt, но у меня нет никаких ограничений.

Конечно, могут быть и другие факторы, но я хотел знать, имеет ли это смысл?

1 ответ

В документации Google не указано конкретно, что они проверяют ваше время отклика, но мой опыт работы с роботом Googlebot и другими искателями показывает, что он действительно влияет на время вашего ответа на сайт. Я знаю, что сделал мой искатель. Я основывал свою скорость сканирования на времени отклика на сайте, который я просматривал.

Видеть

licensed under cc by-sa 3.0 with attribution.