[转载]
下面是Robot.txt的一些例子，只要把下列的任何一个代码保存为robots.txt，然后传到指定位置，就可以实现逃避搜索引擎的法眼：

　　例1. 禁止所有搜索引擎访问网站的任何部分：

　　User-agent: *
　　Disallow: /

　　例2. 允许所有的robot访问：

　　User-agent: *
　　Disallow:

　　例3. 禁止某个搜索引擎的访问：

　　User-agent: BadBot
　　Disallow: /

　　例4. 允许某个搜索引擎的访问：

　　User-agent: baiduspider
　　Disallow:
　　User-agent: *
　　Disallow: /

　　例5. 一个简单例子：

　　在这个例子中，（引导广告：好易广告联盟 http://www.okeaa.com）该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不要写成 "Disallow: /cgi-bin/ /bbs/"。User-agent:后的* 具有特殊的含义，代

表"any robot"，所以在该文件中不能有"Disallow: /bbs/*" or "Disallow: *.gif"这样的记录出现.

　　User-agent: *
　　Disallow: /cgi-bin/
　　Disallow: /bbs/
　　Disallow: /~private/