DBLBot を disallow

□DBLBot を disallow

○.ua からの bot ら

まずは、 log の抜粋をご覧あれ。

access_log
195.128.18.18 - - [09/Jun/2009:05:31:15 +0900] "GET /robots.txt HTTP/1.0" 200 452 "-" "Mozilla/5.0 (compatible; DBLBot/1.0; +http://www.dontbuylists.com/)"

オイラ Web Site にわ、2009/06/09 に着弾。
射撃してるポータルサイトは、http://www.dontbuylists.com/だって。
nslookup してみたら逆引きできないね。ヽ(´▽｀)丿
また、お中華からかなーと思って whois してみたら、 .ua だって。

ウクライナ！？

すげーとこから直撃。
リクエストの初弾が robots.txt を get してきているところを見るとお行儀は良さそう。
get リクエストの間隔は・・・1 ～ 2 秒おきに 1 ～ 3 発打ってくる感じ。
ん～。ビミョーな間隔だなぁ。
オイラ site でわ実害はない範囲だけれど、嫌がるとこも多いカモ。
オイラのとこでわ、暫く放置して様子見てみまつ。

□disallow の方法

○ポータルサイトに説明がありまつ。

disallow の方法は、

http://www.dontbuylists.com/DBLBot_Explained.pdf

に書いてありまつ。
わざわざ pdf になっていやがるけど。
robots.txt に従うよーな事が書いてあるので、そーしておきましょう。

DBLBot dis-allow 用 robots.txt
User-Agent: DBLBot Disallow: /

で良いミタイ。
オイラ site では、暫く disallow しないつもりでつが、目に余る素振りが見られたら disallow してみまつね。