| User-agent: SemrushBot
|
开始配置：SemrushBot |
|
| Disallow: /
|
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: SemrushBot-SA
|
开始配置：SemrushBot-SA |
|
| Disallow: /
|
禁止SemrushBot-SA访问网站的任何部分 |
|
| User-agent: DoCoMo Spider
|
开始配置：DoCoMo Spider |
|
| Disallow: /
|
禁止DoCoMo Spider访问网站的任何部分 |
|
| User-agent: EasouSpider
|
开始配置：EasouSpider |
|
| Disallow: /
|
禁止EasouSpider访问网站的任何部分 |
|
| User-agent: EtaoSpider
|
开始配置：EtaoSpider |
|
| Disallow: /
|
禁止EtaoSpider访问网站的任何部分 |
|
| User-agent: ChinasoSpider
|
开始配置：ChinasoSpider |
|
| Disallow: /
|
禁止ChinasoSpider访问网站的任何部分 |
|
| User-agent: AhrefsBot
|
开始配置：AhrefsBot |
|
| Disallow: /
|
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: YRSpider
|
开始配置：YRSpider |
|
| Disallow: /
|
禁止YRSpider访问网站的任何部分 |
|
| User-agent: YYSpider
|
开始配置：YYSpider |
|
| Disallow: /
|
禁止YYSpider访问网站的任何部分 |
|
| User-agent: MJ12bot
|
开始配置：MJ12bot |
|
| Disallow: /
|
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: CCBot
|
开始配置：CCBot |
|
| Disallow: /
|
禁止CCBot访问网站的任何部分 |
|
| User-agent: Java
|
开始配置：Java |
|
| Disallow: /
|
禁止Java访问网站的任何部分 |
|
| User-agent: BLEXBot
|
开始配置：BLEXBot |
|
| Disallow: /
|
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: DotBot
|
开始配置：DotBot |
|
| Disallow: /
|
禁止DotBot访问网站的任何部分 |
|
| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow: /admin/
|
禁止所有搜索引擎访问/admin目录 |
|
| Disallow: /api/
|
禁止所有搜索引擎访问/api目录 |
|
| Disallow: /myapi/
|
禁止所有搜索引擎访问/myapi目录 |
|
| Disallow: /install/
|
禁止所有搜索引擎访问/install目录 |
|
| Disallow: /member/
|
禁止所有搜索引擎访问/member目录 |
|
| Disallow: /skin/
|
禁止所有搜索引擎访问/skin目录 |
|
| Disallow: /template/
|
禁止所有搜索引擎访问/template目录 |
|
| Disallow: /upgrade/
|
禁止所有搜索引擎访问/upgrade目录 |
|
| Disallow: /sell/sell_info_/*id.html
|
禁止所有搜索引擎访问/sell/sell_info_目录下的*id.html文件 |
|
| Disallow: /mip/
|
禁止所有搜索引擎访问/mip目录 |
|
| Disallow: /bdmip/
|
禁止所有搜索引擎访问/bdmip目录 |
|
| Disallow: /index.php?moduleid=*
|
禁止所有搜索引擎访问index.php,参数为moduleid=*的页面 |
|
| Disallow: /index.php?tid=*
|
禁止所有搜索引擎访问index.php,参数为tid=*的页面 |
|
| Disallow: /plugin.php?*=*
|
禁止所有搜索引擎访问plugin.php,参数为*=*的页面 |
|
| Disallow: /extend/comment.php?mid=*
|
禁止所有搜索引擎访问comment.php,参数为mid=*的页面 |
|
| Disallow: /file/upload/*.jpg.
|
禁止所有搜索引擎访问/file/upload目录下所有以.jpg.为后缀的文件 |
|
| Disallow: /*.js
|
禁止所有搜索引擎访问所有以.js为后缀的文件 |
|
| Disallow: /*.jpg$
|
禁止所有搜索引擎访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.jpg.thumb.jpg$
|
禁止所有搜索引擎访问所有以*.jpg.thumb.jpg结尾的文件 |
|
| Disallow: /*.jpeg$
|
禁止所有搜索引擎访问所有以*.jpeg结尾的文件 |
|
| Disallow: /*.gif$
|
禁止所有搜索引擎访问所有以*.gif结尾的文件 |
|
| Disallow: /*.png$
|
禁止所有搜索引擎访问所有以*.png结尾的文件 |
|
| Disallow: /*.bmp$
|
禁止所有搜索引擎访问所有以*.bmp结尾的文件 |
|
| Sitemap: http://www.fans35.com/sitemaps.xml
|
Sitemap地址： http://www.fans35.com/sitemaps.xml
|
|
