| User-agent:Baiduspider
|
开始配置：Baiduspider |
|
| Crawl-delay:10
|
允许Baiduspider访问10目录（包括子目录） |
|
| Disallow: /me
|
禁止Baiduspider访问/me目录（包括子目录） |
|
| Disallow: /*.js$
|
禁止Baiduspider访问所有以*.js结尾的文件 |
|
| Disallow: /*.css$
|
禁止Baiduspider访问所有以*.css结尾的文件 |
|
| Disallow: /*.jpg$
|
禁止Baiduspider访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.jpeg$
|
禁止Baiduspider访问所有以*.jpeg结尾的文件 |
|
| Disallow: /*.gif$
|
禁止Baiduspider访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$
|
禁止Baiduspider访问所有以*.png结尾的文件 |
|
| Disallow: /*.bmp$
|
禁止Baiduspider访问所有以*.bmp结尾的文件 |
|
| User-agent:Googlebot
|
开始配置：Googlebot |
|
| Crawl-delay:10
|
允许Googlebot访问10目录（包括子目录） |
|
| Disallow: /me
|
禁止Googlebot访问/me目录（包括子目录） |
|
| Disallow: /*.js$
|
禁止Googlebot访问所有以*.js结尾的文件 |
|
| Disallow: /*.css$
|
禁止Googlebot访问所有以*.css结尾的文件 |
|
| Disallow: /*.jpg$
|
禁止Googlebot访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.jpeg$
|
禁止Googlebot访问所有以*.jpeg结尾的文件 |
|
| Disallow: /*.gif$
|
禁止Googlebot访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$
|
禁止Googlebot访问所有以*.png结尾的文件 |
|
| Disallow: /*.bmp$
|
禁止Googlebot访问所有以*.bmp结尾的文件 |
|
| User-agent:360Spider
|
开始配置：360Spider |
|
| Crawl-delay:10
|
允许360Spider访问10目录（包括子目录） |
|
| Disallow: /me
|
禁止360Spider访问/me目录（包括子目录） |
|
| Disallow: /*.js$
|
禁止360Spider访问所有以*.js结尾的文件 |
|
| Disallow: /*.css$
|
禁止360Spider访问所有以*.css结尾的文件 |
|
| Disallow: /*.jpg$
|
禁止360Spider访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.jpeg$
|
禁止360Spider访问所有以*.jpeg结尾的文件 |
|
| Disallow: /*.gif$
|
禁止360Spider访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$
|
禁止360Spider访问所有以*.png结尾的文件 |
|
| Disallow: /*.bmp$
|
禁止360Spider访问所有以*.bmp结尾的文件 |
|
| User-agent:Bytespider
|
开始配置：Bytespider |
|
| Crawl-delay:10
|
允许Bytespider访问10目录（包括子目录） |
|
| Disallow: /me
|
禁止Bytespider访问/me目录（包括子目录） |
|
| Disallow: /*.js$
|
禁止Bytespider访问所有以*.js结尾的文件 |
|
| Disallow: /*.css$
|
禁止Bytespider访问所有以*.css结尾的文件 |
|
| Disallow: /*.jpg$
|
禁止Bytespider访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.jpeg$
|
禁止Bytespider访问所有以*.jpeg结尾的文件 |
|
| Disallow: /*.gif$
|
禁止Bytespider访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$
|
禁止Bytespider访问所有以*.png结尾的文件 |
|
| Disallow: /*.bmp$
|
禁止Bytespider访问所有以*.bmp结尾的文件 |
|
| User-agent:Sogou web spider
|
开始配置：Sogou web spider |
|
| Crawl-delay:10
|
允许Sogou web spider访问10目录（包括子目录） |
|
| Disallow: /me
|
禁止Sogou web spider访问/me目录（包括子目录） |
|
| Disallow: /*.js$
|
禁止Sogou web spider访问所有以*.js结尾的文件 |
|
| Disallow: /*.css$
|
禁止Sogou web spider访问所有以*.css结尾的文件 |
|
| Disallow: /*.jpg$
|
禁止Sogou web spider访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.jpeg$
|
禁止Sogou web spider访问所有以*.jpeg结尾的文件 |
|
| Disallow: /*.gif$
|
禁止Sogou web spider访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$
|
禁止Sogou web spider访问所有以*.png结尾的文件 |
|
| Disallow: /*.bmp$
|
禁止Sogou web spider访问所有以*.bmp结尾的文件 |
|
| User-agent:*
|
开始配置：所有搜索引擎 |
|
| Disallow: /
|
禁止所有搜索引擎访问网站的任何部分 |
|
