|
|
ask.com が解き放つ Web クローラーでつ。
USA のポータルサイトのようでつが、
と思うのでお引取り頂ませぅ。
クロール頻度は問題ないレベルでつが・・・・・。
robots.txt の書き方は、
アタリに書いてあったのでご一読くだされ。
該当のページに書いてある robots.txt の記述方法によると、2008/02/08 日現在は・・・・。
|
# Allow only specific directories User-agent: Teoma Disallow: / |
だそうだ。
一部でも許可してくれるんなら・・・、Allow で・・・
|
# Allow only specific directories User-agent: Teoma Disallow: / Allow: /public |
だそうだ。
しばらく、これで様子みてみまつ。
