最近WordPressにKtai Styleを入れたためか、モバイル側のSpyderアクセスが多いなぁ、と思っていたのですが、こんな感じでBaiduからのアクセスがメチャクチャ多い。
| 2009 年 4 月 25 日 | 01:09:22 | DoCoMo | NEC LCD2190UXi | DoCoMo/2.0 P05A(c100;TB;W24H15) (compatible; BaiduMobaider/1.0; +http://www.baidu.jp/spider/) |
いや、まぁ引っかからないのは寂しいので、ロボットが来るのはかまわないんだが、昨日だけでBaiduのアクセスが3,000件。根こそぎクロールしてくので、うざいったらありゃしない。まあそれほどトラフィックの多いサイトでもないので取りあえず撥ねつけることはしませんけどさ。なんかStatPressで見るときに、一般ユーザの方よりロボットが多いと、少し萎えるんだよねｗ
キャッシュヒットしないページばかりキレイに読んでくれて本当にありがとうよｗ
4/26追記 25日には4,500回もアクセスに来てくれやがりました。なので取りあえずrobots.txtに以下の記述を追加。
User-Agent: BaiduMobaider crawl-delay:300 User-Agent: Baiduspider crawl-delay:300 user-agent: Baiduspider+ crawl-delay:300 user-agent: BaiduImagespider crawl-delay:300
これで少しはアクセス頻度減ってくれるといいのですが。またレポートします。
5/5追記
だめだ、全然へらねぇ…orz。百度が早く日本から撤退しますように。お祈りすることにした。
5/20追記
StatPressを見ると5月7日くらいから減っていって、現在は許せるレベルにまで落ち着きました。robots.txtへの反応遅すぎだろ…。
自分が業務でやってるサービスに百度から、「クロールさせてん」と来たらしい。サーバ管理者は百度を弾いていたらしい(笑)。まぁ、仕事で使ってるサーバは巨大なので百度が来てもそれほど問題にならんでしょーしね。
考えてみれば、一番最初に自分が仕事で使ったWebサーバ(PentiumIIの450MHzでした)より今のML115G1サーバの方が遙かに強力なんだけどねぇ…。