サービス運用中のサーバーが急に重くなった。

通常サーバーのアクセスは、非常に少なくで完全にリソースが余っている状態でした。しかしYahooリスティング/GoogleAdwords広告を入稿したところ、大量なアクセスが!?

なんだなんだと思ったら、入稿した広告に対してクローラーが一気にサイトにアクセスしてきていました。キーワードが1グループとかだと問題ないのですが、
例えば、「検索キーワード」複数に対してそれぞれ適切な広告文を出したいがために、数百〜数千キーワードに対してそれぞれ広告文を変えたい場合別々で入稿すると、そのキーワード分のクローラーからのアクセスが一気に集中。

クローラーの為にサーバーをスケールアップするか、急なアクセス増加の予防線として、クローラー程度のアクセスをさばける様にしておくか悩ましいところ。

Yahoo!ディスプレイアドネットワーク(YDN)のクローラーについて
http://yahoo-jp.custhelp.com/app/answers/detail/a_id/1065/

Google クローラ
https://support.google.com/webmasters/answer/1061943?hl=ja