|
|
オフィシャルサイトらしきものはhttp://www.dotnetdotcom.org/でつ。
disallow 方法なんかも記載されてまつた。
クローラーに関する情報は、http://www.dotnetdotcom.org/#infoをご覧あれ。
ウチには、2009.05.19 日に初弾が着弾。
referer がカラなとこを見ると、どっかからリンクを辿ってき訳でわなさそう。
whois からでも拾ってきたのかな？
超精密射撃による直撃のよーな感じら。
クロールの間隔は 5 分に 1 GET リクエストの間隔。お行儀は良さそう。
web site をクロールしているものの、検索サイトではなさそう。
http://www.dotnetdotcom.org/ を見てみても何が目的なのかよーワカラン。
実害は無さそうだけど、とりあえず disallow してをく。
まづわ、 log の一部を抜粋。
| 208.115.111.244 - - [19/May/2009:23:44:54 +0900] "GET /robots.txt HTTP/1.1" 403 212 "-" " Mozilla/5.0 (compatible; DotBot/1.1; http://www.dotnetdotcom.org/, crawler@dotnetdotcom.org)" |
リクエスト自体に不振な点はみられづ。
まぁ、ふつーのリクエストら。
紳士協定に従い、まづわ、 robots.txt に書いてみましょう。
|
User-agent: dotbot Disallow: / |
http://www.dotnetdotcom.org/#infoに記載されているのでご一読あれ。
ってとこで様子みてみまつ。
