ロボットの訪問を断るためには?

webを自動的に旅するプログラムは、非常に役立つことがありますが、深酷な混乱をもたらす可 能性があります。サーバをダウンさせる「深さ優先」検索ロボットを作る人が、しばしばいます 。詳しくは「ロボットを作る」を参照して下さい。 ありがたいことにほとんどのロボットは、もし望むならばあなたのサーバに近づけないようにし たり、ロボットがひっかかるような (例えば無限個のリンクを持ちうる)サーバの一部分に入ら ないようにすることができる、簡単なプロトコルに従っています。"World Wide Web Robots,Wanderers and Spiders" (URL <URL:http://info.webcrawler.com/mak/projects/robots/robots.html> ))という文書を読んで、望まない領域からロボットを排除するための標準的な方法について学んで下さい。また、排除したくないであろう有益なカタログロボットを含む、既存のロボットについても読むことができます。
World Wide Web FAQ 1