bingbotとGooglebot データベース関連ページの負荷軽減対策は必須
不思議とGooglebotとbingbotがほぼ同時刻にいらっしゃいますのでなおさら。
以前にとったアクセス履歴
bingbot
[03/Jan/2013:07:46:28 +0900]から
[03/Jan/2013:08:39:28 +0900]までの間
アクセス830回
15回/分
[03/Jan/2013:08:39:30 +0900]から
[03/Jan/2013:09:12:26 +0900]までの間
アクセス4,492回
140回/分
Googlebot
[03/Jan/2013:07:45:13 +0900]から
[03/Jan/2013:08:39:28 +0900]までの間
アクセス1222回
23回/分
[03/Jan/2013:08:39:32 +0900]から
[03/Jan/2013:09:12:50 +0900]までの間
アクセス672回
21回/分
クロール回数を減らす方向で対策も考えられなくはないですが
せっかくだから充分対応できる構造にしておきたい。