Naver を Disallow

□Naverbot ってナニ？

○韓国の bot ら。

クロール頻度の凄まじさから嫌われまくりの bot でつ。
どのぐらい嫌われているかわ、ぐぐってもらえればいっぱい出てきまつので省略。
時々、 User-Agent を変えて降臨してくるもんだからタチがワルイ。
log にあった IP アドレスを逆引きしても FQDN が出た試しもない。
あんまり良い話も聞かないので拒否しておくことにしまつ。

時々 User-Agent を変えてくるので、その時々に最適な拒否の方法を追加していきまつ。

□2008.03 月頃の bot

○yetibot@naver.com

まづわ、 log の一部を抜粋。

log を抜粋
61.247.217.35 - - [03/Mar/2008:13:49:59 +0900] "GET /robots.txt HTTP/1.1" 200 168 "-" "Yeti/0.01 (nhn/1noon, yetibot@naver.com, check robots.txt daily and follow it)"

log に、"check robots.txt daily and follow it"って書いて歩けど、どーゆーイミだ？
毎日 robots.txt を読みにくるよ～んってことか？

だからきらわれるんだよ
オ・マ・イ・わっ！m9っ｀Д´)

○対処方法

紳士協定に従い、まづわ、 robots.txt に書いてみましょう。

robots.txt の一例
User-agent: Yeti Disallow: /

ってとこで様子みてみまつ。