迷惑なクローラ対策 - ippai

自サイト、久しぶりにアクセス解析見てみたら、びっしりn@verとb@aiduの足跡が…

回数多すぎだなぁとググってみたら、robots.txtを漁ってる、らしい。

robots.txtて？
robots.txt とは？
あんたらどっから来ただー！って思ってたけど、
設置しておくべきものだったぽい…あちゃー

設置されてない場合は、404返しまくるらしい。
ほ、本当だ…404ダントツすぎる。

けど、n@iverとb@iduの2個はそんなの関係ねぇ！とばかりに、
robots.txtないっすかー？と回ってくるらしい。

快くは思わないので遮断してやろうかなと調べてたら、
断固拒否派がいたり、許可はするけどおしおきする派がいたり。

ルート直下に設置把握。
でも、文字コードについて触れられてるページが見つからないのだけど、
特に気にしなくていいのかな？
前の文字コードの件がトラウマで疑心暗鬼になる自分ガイル。