| User-Agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow: /*?*
|
禁止所有搜索引擎访问任何带参数的页面 |
|
| Disallow: /u/*
|
禁止所有搜索引擎访问/u下的所有文件 |
|
| Disallow: /*-complex-*.html
|
禁止所有搜索引擎访问根目录下的*-complex-*.html文件 |
|
| Disallow: /*-new-*.html
|
禁止所有搜索引擎访问根目录下的*-new-*.html文件 |
|
| Disallow: /*-all-*.html
|
禁止所有搜索引擎访问根目录下的*-all-*.html文件 |
|
| Disallow: /*-0-*.html
|
禁止所有搜索引擎访问根目录下的*-0-*.html文件 |
|
| Disallow: /*-1.html
|
禁止所有搜索引擎访问根目录下的*-1.html文件 |
|
| Disallow: /*.css$
|
禁止所有搜索引擎访问所有以*.css结尾的文件 |
|
| Disallow: /*.php$
|
禁止所有搜索引擎访问所有以*.php结尾的文件 |
|
| Disallow: /*.js$
|
禁止所有搜索引擎访问所有以*.js结尾的文件 |
|
| Disallow: /*.rar$
|
禁止所有搜索引擎访问所有以*.rar结尾的文件 |
|
| Disallow: /*.php$
|
禁止所有搜索引擎访问所有以*.php结尾的文件 |
|
| Disallow: /*.asp$
|
禁止所有搜索引擎访问所有以*.asp结尾的文件 |
|
| Disallow: /*.zip$
|
禁止所有搜索引擎访问所有以*.zip结尾的文件 |
|
| Disallow: /*.asp$
|
禁止所有搜索引擎访问所有以*.asp结尾的文件 |
|
| Disallow: /*.gz$
|
禁止所有搜索引擎访问所有以*.gz结尾的文件 |
|
| Disallow: /*_js.*
|
禁止所有搜索引擎访问根目录下的*_js.*文件 |
|
| Disallow: /*sem=*
|
禁止所有搜索引擎访问所有包含sem=的文件 |
|
| Disallow: /sousuo-*
|
禁止所有搜索引擎访问根目录下以sousuo-开头的目录（包括子目录） |
|
| Disallow: /video-sousuo-*
|
禁止所有搜索引擎访问根目录下以video-sousuo-开头的目录（包括子目录） |
|
| Disallow: /collectInfo/
|
禁止所有搜索引擎访问/collectInfo目录 |
|
| Disallow: /plus/
|
禁止所有搜索引擎访问/plus目录 |
|
| Disallow: /gonggao/
|
禁止所有搜索引擎访问/gonggao目录 |
|
| Disallow: /vip/
|
禁止所有搜索引擎访问/vip目录 |
|
| Disallow: /match/
|
禁止所有搜索引擎访问/match目录 |
|
| Disallow: /699pic_/
|
禁止所有搜索引擎访问/699pic_目录 |
|
| Disallow: /report/
|
禁止所有搜索引擎访问/report目录 |
|
| Disallow: /cms/
|
禁止所有搜索引擎访问/cms目录 |
|
| Disallow: /search/
|
禁止所有搜索引擎访问/search目录 |
|
| Disallow: /enterprise/
|
禁止所有搜索引擎访问/enterprise目录 |
|
| Disallow: /browser.html
|
禁止所有搜索引擎访问根目录下的browser.html文件 |
|
| Disallow: /upload/
|
禁止所有搜索引擎访问/upload目录 |
|
| Disallow: /data/
|
禁止所有搜索引擎访问/data目录 |
|
| Disallow: /admin/
|
禁止所有搜索引擎访问/admin目录 |
|
| Disallow: /qiye/
|
禁止所有搜索引擎访问/qiye目录 |
|
| Disallow: /invite/
|
禁止所有搜索引擎访问/invite目录 |
|
| Disallow: /vector-*.html
|
禁止所有搜索引擎访问根目录下的vector-*.html文件 |
|
| Disallow: /*.html/*
|
禁止所有搜索引擎访问/*.html下的所有文件 |
|
| Disallow: /config/
|
禁止所有搜索引擎访问/config目录 |
|
| Disallow: /images/
|
禁止所有搜索引擎访问/images目录 |
|
| Disallow: /bargain/
|
禁止所有搜索引擎访问/bargain目录 |
|
| Disallow: /index/
|
禁止所有搜索引擎访问/index目录 |
|
| Disallow: /utility/
|
禁止所有搜索引擎访问/utility目录 |
|
| Disallow: /dxyylc/
|
禁止所有搜索引擎访问/dxyylc目录 |
|
| Disallow: /include/
|
禁止所有搜索引擎访问/include目录 |
|
| Disallow: /agent/
|
禁止所有搜索引擎访问/agent目录 |
|
| Disallow: /Templates/
|
禁止所有搜索引擎访问/Templates目录 |
|
| Disallow: /uploads/
|
禁止所有搜索引擎访问/uploads目录 |
|
| Disallow: /single-*
|
禁止所有搜索引擎访问根目录下以single-开头的目录（包括子目录） |
|
| Disallow: /ppt_photo/
|
禁止所有搜索引擎访问/ppt_photo目录 |
|
| Disallow: /desgin_photo/
|
禁止所有搜索引擎访问/desgin_photo目录 |
|
| Disallow: /fh/
|
禁止所有搜索引擎访问/fh目录 |
|
| Disallow: /feishe/
|
禁止所有搜索引擎访问/feishe目录 |
|
| Disallow: /shitu/
|
禁止所有搜索引擎访问/shitu目录 |
|
| Disallow: /photographer/detail/*
|
禁止所有搜索引擎访问/photographer/detail下的所有文件 |
|
| Disallow: /music/avatar/*.jpg
|
禁止所有搜索引擎访问/music/avatar目录下所有以.jpg为后缀的文件 |
|
| Disallow: /photographer/*/*-*
|
禁止所有搜索引擎访问/photographer/*目录下包含-的文件 |
|
| Disallow: /mall/api/
|
禁止所有搜索引擎访问/mall/api目录 |
|
| Disallow: /dongtai/
|
禁止所有搜索引擎访问/dongtai目录 |
|
| Disallow: /picture/guess-*
|
禁止所有搜索引擎访问/picture目录下以guess-开头的目录（包括子目录） |
|
| Disallow: /api/
|
禁止所有搜索引擎访问/api目录 |
|
| Disallow: /activity/
|
禁止所有搜索引擎访问/activity目录 |
|
| Disallow: /industry*
|
禁止所有搜索引擎访问根目录下以industry开头的目录（包括子目录） |
|
| Disallow: /soso*
|
禁止所有搜索引擎访问根目录下以soso开头的目录（包括子目录） |
|
| Disallow: /video/vipVideoNum*
|
禁止所有搜索引擎访问/video目录下以vipVideoNum开头的目录（包括子目录） |
|
| Disallow: /video/vipRenew*
|
禁止所有搜索引擎访问/video目录下以vipRenew开头的目录（包括子目录） |
|
| Disallow: /*!*
|
禁止所有搜索引擎访问所有包含!的文件 |
|
| Disallow: /video-dl-*
|
禁止所有搜索引擎访问根目录下以video-dl-开头的目录（包括子目录） |
|
| Disallow: /video_cover/*
|
禁止所有搜索引擎访问/video_cover下的所有文件 |
|
| Disallow: /tupianplus*
|
禁止所有搜索引擎访问根目录下以tupianplus开头的目录（包括子目录） |
|
| Disallow: /ajax/*
|
禁止所有搜索引擎访问/ajax下的所有文件 |
|
| Disallow: /front*
|
禁止所有搜索引擎访问根目录下以front开头的目录（包括子目录） |
|
| Disallow: /*&*
|
禁止所有搜索引擎访问所有包含&的文件 |
|
| Disallow: /*=*
|
禁止所有搜索引擎访问所有包含=的文件 |
|
| Disallow: /picture/*
|
禁止所有搜索引擎访问/picture下的所有文件 |
|
| Disallow: /muban/taobao-*
|
禁止所有搜索引擎访问/muban目录下以taobao-开头的目录（包括子目录） |
|
| Disallow: /muban/ui-*
|
禁止所有搜索引擎访问/muban目录下以ui-开头的目录（包括子目录） |
|
| Disallow: /muban/zhuangshi-*
|
禁止所有搜索引擎访问/muban目录下以zhuangshi-开头的目录（包括子目录） |
|
| Disallow: /muban/sheyingtu-*
|
禁止所有搜索引擎访问/muban目录下以sheyingtu-开头的目录（包括子目录） |
|
| Allow: /marketing-calendar/index/*-0-1.html |
允许所有搜索引擎访问/marketing-calendar/index目录下的*-0-1.html文件 |
|
