| User-agent: * |
开始配置：所有搜索引擎 |
|
| Disallow: /server.php?* |
禁止所有搜索引擎访问server.php带任何参数的页面 |
|
| Disallow: /home-*.html |
禁止所有搜索引擎访问根目录下的home-*.html文件 |
|
| Disallow: /*?* |
禁止所有搜索引擎访问任何带参数的页面 |
|
| Disallow: /c/ |
禁止所有搜索引擎访问/c目录 |
|
| Disallow: /Web/ |
禁止所有搜索引擎访问/Web目录 |
|
| Disallow: /paihang/ |
禁止所有搜索引擎访问/paihang目录 |
|
| Disallow: /jpg/ |
禁止所有搜索引擎访问/jpg目录 |
|
| Disallow: /jiangpin/ |
禁止所有搜索引擎访问/jiangpin目录 |
|
| Disallow: /service/ |
禁止所有搜索引擎访问/service目录 |
|
| Disallow: /bangzhu/ |
禁止所有搜索引擎访问/bangzhu目录 |
|
| Disallow: /oootao/ |
禁止所有搜索引擎访问/oootao目录 |
|
| Disallow: /tuke/ |
禁止所有搜索引擎访问/tuke目录 |
|
| Disallow: /*.php* |
禁止所有搜索引擎访问所有以.php为后缀的文件 |
|
| Disallow: /gonggao/ |
禁止所有搜索引擎访问/gonggao目录 |
|
| Disallow: /sucai1/ |
禁止所有搜索引擎访问/sucai1目录 |
|
| Disallow: /sucai2/ |
禁止所有搜索引擎访问/sucai2目录 |
|
| Disallow: /sucai3/ |
禁止所有搜索引擎访问/sucai3目录 |
|
| Disallow: /sucai4/ |
禁止所有搜索引擎访问/sucai4目录 |
|
| Allow: /www/*=timed |
允许所有搜索引擎访问/www目录下以=timed结尾的目录（包括子目录） |
|
| Disallow: /www/ |
禁止所有搜索引擎访问/www目录 |
|
| Disallow: /shitu/ |
禁止所有搜索引擎访问/shitu目录 |
|
| Disallow: /baoniansucai/so* |
禁止所有搜索引擎访问/baoniansucai目录下以so开头的目录（包括子目录） |
|
| Disallow: /baoniansucai/search* |
禁止所有搜索引擎访问/baoniansucai目录下以search开头的目录（包括子目录） |
|
| Disallow: /yuekazhuanqu/*.html |
禁止所有搜索引擎访问/yuekazhuanqu目录下所有以.html为后缀的文件 |
|
| Disallow: /shitu/search-*.html |
禁止所有搜索引擎访问/shitu目录下的search-*.html文件 |
|
| Disallow: /cardmoban/ |
禁止所有搜索引擎访问/cardmoban目录 |
|
| Disallow: /christmas/ |
禁止所有搜索引擎访问/christmas目录 |
|
| Disallow: /cata/ |
禁止所有搜索引擎访问/cata目录 |
|
| Disallow: /ooopic_show/ |
禁止所有搜索引擎访问/ooopic_show目录 |
|
| Disallow: /huacemoban/ |
禁止所有搜索引擎访问/huacemoban目录 |
|
| Disallow: /bbs/ |
禁止所有搜索引擎访问/bbs目录 |
|
| Disallow: /ooopic_show/1/*.html |
禁止所有搜索引擎访问/ooopic_show/1目录下所有以.html为后缀的文件 |
|
| Disallow: /ooopic_show/2/*.html |
禁止所有搜索引擎访问/ooopic_show/2目录下所有以.html为后缀的文件 |
|
| Disallow: /ooopic_show/3/*.html |
禁止所有搜索引擎访问/ooopic_show/3目录下所有以.html为后缀的文件 |
|
| Disallow: /ooopic_show/4/*.html |
禁止所有搜索引擎访问/ooopic_show/4目录下所有以.html为后缀的文件 |
|
| Disallow: /ooopic_show/5/*.html |
禁止所有搜索引擎访问/ooopic_show/5目录下所有以.html为后缀的文件 |
|
| Disallow: /taobao/ |
禁止所有搜索引擎访问/taobao目录 |
|
| Disallow: /taobao/search-*.html |
禁止所有搜索引擎访问/taobao目录下的search-*.html文件 |
|
| Disallow: /sheying/ |
禁止所有搜索引擎访问/sheying目录 |
|
| Disallow: /sheying/*.html |
禁止所有搜索引擎访问/sheying目录下所有以.html为后缀的文件 |
|
| Disallow: /data/ |
禁止所有搜索引擎访问/data目录 |
|
| Disallow: /admin/ |
禁止所有搜索引擎访问/admin目录 |
|
| Disallow: /images/ |
禁止所有搜索引擎访问/images目录 |
|
| Disallow: /morehtml/ |
禁止所有搜索引擎访问/morehtml目录 |
|
| Disallow: /active/ |
禁止所有搜索引擎访问/active目录 |
|
| Disallow: /design/2009-*.html |
禁止所有搜索引擎访问/design目录下的2009-*.html文件 |
|
| Disallow: /*-yesterday-*.html |
禁止所有搜索引擎访问根目录下的*-yesterday-*.html文件 |
|
| Disallow:/oldlinkjump/ |
禁止所有搜索引擎访问/oldlinkjump目录 |
|
| Disallow:/photo/ |
禁止所有搜索引擎访问/photo目录 |
|
| Disallow:/qingrenjie/ |
禁止所有搜索引擎访问/qingrenjie目录 |
|
| Disallow:/remenhangye/ |
禁止所有搜索引擎访问/remenhangye目录 |
|
| Disallow:/shibada/ |
禁止所有搜索引擎访问/shibada目录 |
|
| Disallow:/shiliangtu/ |
禁止所有搜索引擎访问/shiliangtu目录 |
|
| Disallow:/shineizhuangshi/ |
禁止所有搜索引擎访问/shineizhuangshi目录 |
|
| Disallow:/shipin/ |
禁止所有搜索引擎访问/shipin目录 |
|
| Disallow:/shuangshier/ |
禁止所有搜索引擎访问/shuangshier目录 |
|
| Disallow:/tuku/ |
禁止所有搜索引擎访问/tuku目录 |
|
| Disallow:/yimentupian/ |
禁止所有搜索引擎访问/yimentupian目录 |
|
| Disallow:/zhuanti/ |
禁止所有搜索引擎访问/zhuanti目录 |
|
| Disallow:/tupian/ |
禁止所有搜索引擎访问/tupian目录 |
|
| Disallow:/tupian_*.html |
禁止所有搜索引擎访问根目录下的tupian_*.html文件 |
|
| Disallow:/vector/ |
禁止所有搜索引擎访问/vector目录 |
|
| Disallow:/subjectinfo-*/*/ |
禁止所有搜索引擎访问/subjectinfo-*目录下以结尾的目录 |
|
| Disallow:/subjectinfo/*/ |
禁止所有搜索引擎访问/subjectinfo目录下以结尾的目录 |
|
| Disallow:/intro*/ |
禁止所有搜索引擎访问根目录下以intro开头的目录 |
|
| Disallow:/shinei/* |
禁止所有搜索引擎访问/shinei下的所有文件 |
|
| Disallow:/subjectlist-*/?search |
禁止所有搜索引擎访问,参数为search的页面 |
|
| User-agent: Yahoo! Slurp China |
开始配置：Yahoo! Slurp China |
|
| Disallow: / |
禁止Yahoo! Slurp China访问网站的任何部分 |
|
| User-agent: Yahoo! Slurp |
开始配置：Yahoo! Slurp |
|
| Disallow: / |
禁止Yahoo! Slurp访问网站的任何部分 |
|
| User-agent: JikeSpider |
开始配置：JikeSpider |
|
| Disallow: / |
禁止JikeSpider访问网站的任何部分 |
|
| User-agent: AhrefsBot |
开始配置：AhrefsBot |
|
| Disallow: / |
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: MJ12bot |
开始配置：MJ12bot |
|
| Disallow: / |
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: YisouSpider |
开始配置：YisouSpider |
|
| Disallow: / |
禁止YisouSpider访问网站的任何部分 |
|
| User-agent: YandexBot |
开始配置：YandexBot |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User-agent: Exabot |
开始配置：Exabot |
|
| Disallow: / |
禁止Exabot访问网站的任何部分 |
|
| User-agent: DotBot |
开始配置：DotBot |
|
| Disallow: / |
禁止DotBot访问网站的任何部分 |
|
| User-agent: DataForSeoBot |
开始配置：DataForSeoBot |
|
| Disallow: / |
禁止DataForSeoBot访问网站的任何部分 |
|
