:

○悪名高き NAVER の手先！！

Yeti の正体は NAVER の bot。
その過去の悪行三昧は、

いまぢゃ Web オーナーの嫌われ者の代名詞。
クローラーが Yeti になってからわ、多少はマシになったようでつが、来ちゃヤダみたいな。
access_log を見てみると、

User-Agent:Yeti/0.0.1 ってナンデスカ？
"check robots.txt daily and follow it" って、"毎日見てるよっ！"ってコトデスカ？
総合的に判断すると、色んな意味で、

と、言わざるをえない
NAVER がいままでなにをやっちまったかわ、ぐぐって貰えればいっぱい出てくるので割愛しまつ。
Wikipedia:NAVERにも載ってまつよ。
ご一読あれ。

ちなみに、 Yeti の語源は、一時期、 UMA で有名だった雪男のイエティらしぃ。

雪男は、さっさと .kr の雪山へ帰ってもらうがよかろう。

○紳士協定に従う(robots.txt)

UMA を保護飼育する義務もないので、さっさと雪山へ帰してあげましょう。
ワシントン条約に引っかかっちゃうよ？

robots.txt にわ従うようなので、最初は robots.txt に書いて様子を見ましょう。

これで ok.
暫く様子を見てみてくらさい。
すぐにはクロールを止めないようなので数日間はガマンしましょう。

○強制的に放逐する(.htaccess)

今のところ、 Yeti は robots.txt 完全無視っつー事例は無いようでつ。
しかし、いつ、無視し始めるかわ、解りません。
サイアクは、 .htaccess で deny するしかないと思うのでその一例をば・・。

NAVER は Yeti の他にも bot を使っていた（る？）ので、それも追加 しておきまつた。
あとは、 log を見て効果を検証してくらさい。
ステータスコード 403 をレスポンスしていれば、 ok のはづ。
あ、 Yeti なんて UMA を名乗るからってゆっても、 UMA ネタの Web site に Redirect しちゃダメだよっ。
絶対ダメだよっ。いいか、絶対だからなっ！

NAVER の bot に関する HELP CENTER は http://help.naver.com/robots/yetibot.htmlでつ。
説明がツッコミどころ満載なのわ、

○2008/09/23 日にハケーン( ・ω・)=3

robots.txt には従っているモヨウ。
他のページをクロールしている様子もナシ。
アクセス頻度もカナリ下がってきているような気が・・・・。
これなら、disallow 解除しても良いかなー？って一瞬思ったけど、

以前、 robots.txt に書き込んだ "Yeti" が効いているようなので、 当面はこのままで様子見まつ。

Yeti/0.01 の頃は、"毎日見てるよ" と言いたかったのであろうコメントが無くなってまつ。
英文がビミョーだったのに気がついたのでしょうね。
ってゆーか、英文を削除して Yeti/1.0 にメジャー Ver.UP したのでしょうか？
ここらへんの事情に詳しい方、フォロー求ム。

  

Copyright(c) ORATORIO-TANGRAM.com 2001-2007 All Rights Reserved.
Total: