株式会社ハンズ　社長ブログ

最近、Bingのクローラーのアクセスが多くて、サーバーが辛いと担当エンジニアに指摘をうけました。

対応としては、そもそもBingのクローラーをIPで指定して弾くという手もありますが、すべてのキャッシュがクリアされてしまいます。

できれば、クローラーのアクセス頻度を下げてもらえる方が理想的です。

そこで、Bingにもグーグルと同じようにウェブマスターツールがあって、クローラーのアクセス頻度の調整が可能ですので、アカウントを取得してログインをしてみました。

■Bing ウェブマスターツール
http://www.bing.com/toolbox/webmaster

以前から、SEO的にはBingウェブマスターツールを利用するのは有効だと聞いていたのですが、面倒でサボっていました。

やってみれば、アカウント取得なんて５分程度なんですけどね。

で、ログインしてクローラーのアクセス数を表示したのが上のキャプチャーです。

なんと、１日に１５０万回もアクセスしてきてます。これでは、サーバーが辛いですね。

このせいでサーバーのレスポンスが下がってしまったら、ユーザーにも不便を掛けてアクセスも下がってしまいます。

という訳で、急いでクローラー頻度を下げてみました。

上のキャプチャーが設定画面です。

Bingは時間別にクロール頻度の設定が可能で、グーグルよりも便利です。

キャプチャーのように、すべての時間でクロール頻度を最低に設定してみました。これで、どの程度までクローラーのアクセス頻度が下がるのかを見てみたいと思います。

Bingの検索を利用する人は少ないのだから、あまり手間をかけさせないでほしいですね。