msnbot を disallow

msn から飛んできたリクエストを月単位にカウントしてみると、大体 5 リクエスト以下・・・
この結果から導き出される結論わ、

msn もいらねー。

クロール頻度がヒドイとゆーわけでもないのでつが、 msnbot も disallow 決定。
log がさらにスッキリするねっ！

access_log の一例
msnbot-65-55-210-235.search.msn.com - - [11/Nov/2008:05:39:16 +0900] "GET /robots.txt HTTP/1.1" 200 352 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)" 65.55.231.11 - - [07/Nov/2008:18:07:28 +0900] "GET /robots.txt HTTP/1.1" 200 352 "-" "msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)"

2008/11/11 日現在、 User-Agent: は、 "msnbot/1.1" と "msnbot-media/1.1" の 2 種類あるモヨウでつが、 "msnbot/1.1" だけ disallow すれば良いラシイ。
で、 robots.txt の書き方は・・・・

robots.txt の一例
User-agent: MSNBot Disallow: /

これで ok.
暫く様子を見てみてくらさい。
すぐにはクロールを止めないようなので数日間はガマンしましょう。