:

○ポータルサイトの統計を見てみると・・・・

オイラ Web Site の 2008/10 月のポータルサイトから検索で飛んできた統計でつ。

さて、気になる記事を・・・・
2004/05/12 の古い記事ではあるものの、 ITmedia Survey の、 よく利用する検索ポータルサイトは「Yahoo!Japan」。
後は、GA-Pro の 検索エンジン・ポータルサイト 日本でのシェア(使用率) アタリを見ると、 yahoo が圧勝しているこの矛盾。

技術系の人は google を好むし、一般の方は yahoo を使うってことかっ？
ここから導き出される結論は、

access_log に yahoo の クローラーが載っからなくなるだけ log がスッキリ するってことだよね。
ねっ！！ねっ！！。

○研究用も含めると・・・・

yahoo が使っている Crawler は、研究用・携帯サイト用とかも含めると下記の 12 種類のモヨウ。

• Yahoo! Slurp
• Yahoo-MMCrawler(ルチメディアファイル用)
• Y!J-SRD/1.0 - 124.83.159.146 〜 124.83.159.185(Mobile 版検索用)
• Y!J-MBS/1.0 - 124.83.159.224 〜 124.83.159.247(Mobile 版検索用)
• Y!J-DSC(研究・開発・メンテナンス用)
• Y!J-VSC/ViSe(研究・開発・メンテナンス用)
• Y!J-PSC(研究・開発・メンテナンス用)
• Y!J-NSC/1.0(研究・開発・メンテナンス用)
• Y!J-SRD/1.0(研究・開発・メンテナンス用)
• Y!J-BRG/GSC(研究・開発・メンテナンス用)
• Y!J-BRI(研究・開発・メンテナンス用)
• Y!J-BRE(研究・開発・メンテナンス用)

yahoo Japan の Yahoo! JAPANの検索エンジン（クローラー）についてとか、 モバイル版Yahoo!検索の検索エンジン（クローラー）について アタリも参照されたい。

代表的なのわ、Yahoo! Slurp なので、コイツを robots.txt で dis-allow すれば、 ほとんどのクロールを止める見込みでつ。
サクッと robots.txt に書きませう。

"User-Agent: Slurp" と指定しても ok のようでつ。
これで暫く様子見てみまつ。

  

Copyright(c) ORATORIO-TANGRAM.com 2001-2007 All Rights Reserved.
Total: