| User-agent: Baiduspider
|
开始配置：Baiduspider |
|
| Disallow: /member/
|
禁止Baiduspider访问/member目录 |
|
| Disallow: /api/
|
禁止Baiduspider访问/api目录 |
|
| Disallow: /web_api/
|
禁止Baiduspider访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止Baiduspider访问/udb_web目录 |
|
| User-agent: Googlebot
|
开始配置：Googlebot |
|
| Disallow: /member/
|
禁止Googlebot访问/member目录 |
|
| Disallow: /api/
|
禁止Googlebot访问/api目录 |
|
| Disallow: /web_api/
|
禁止Googlebot访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止Googlebot访问/udb_web目录 |
|
| User-agent: sogou spider
|
开始配置：sogou spider |
|
| Disallow: /member/
|
禁止sogou spider访问/member目录 |
|
| Disallow: /api/
|
禁止sogou spider访问/api目录 |
|
| Disallow: /web_api/
|
禁止sogou spider访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止sogou spider访问/udb_web目录 |
|
| User-agent: Sosospider
|
开始配置：Sosospider |
|
| Disallow: /member/
|
禁止Sosospider访问/member目录 |
|
| Disallow: /api/
|
禁止Sosospider访问/api目录 |
|
| Disallow: /web_api/
|
禁止Sosospider访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止Sosospider访问/udb_web目录 |
|
| User-agent: YodaoBot
|
开始配置：YodaoBot |
|
| Disallow: /member/
|
禁止YodaoBot访问/member目录 |
|
| Disallow: /api/
|
禁止YodaoBot访问/api目录 |
|
| Disallow: /web_api/
|
禁止YodaoBot访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止YodaoBot访问/udb_web目录 |
|
| User-agent: Bingbot
|
开始配置：Bingbot |
|
| Disallow: /member/
|
禁止Bingbot访问/member目录 |
|
| Disallow: /api/
|
禁止Bingbot访问/api目录 |
|
| Disallow: /web_api/
|
禁止Bingbot访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止Bingbot访问/udb_web目录 |
|
| User-agent: Slurp
|
开始配置：Slurp |
|
| Disallow: /member/
|
禁止Slurp访问/member目录 |
|
| Disallow: /api/
|
禁止Slurp访问/api目录 |
|
| Disallow: /web_api/
|
禁止Slurp访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止Slurp访问/udb_web目录 |
|
| User-agent: MSNBot
|
开始配置：MSNBot |
|
| Disallow: /member/
|
禁止MSNBot访问/member目录 |
|
| Disallow: /api/
|
禁止MSNBot访问/api目录 |
|
| Disallow: /web_api/
|
禁止MSNBot访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止MSNBot访问/udb_web目录 |
|
| User-agent: 360Spider
|
开始配置：360Spider |
|
| Disallow: /member/
|
禁止360Spider访问/member目录 |
|
| Disallow: /api/
|
禁止360Spider访问/api目录 |
|
| Disallow: /web_api/
|
禁止360Spider访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止360Spider访问/udb_web目录 |
|
| User-agent: YisouSpider
|
开始配置：YisouSpider |
|
| Disallow: /member/
|
禁止YisouSpider访问/member目录 |
|
| Disallow: /api/
|
禁止YisouSpider访问/api目录 |
|
| Disallow: /web_api/
|
禁止YisouSpider访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止YisouSpider访问/udb_web目录 |
|
| User-agent: Chinasospider
|
开始配置：Chinasospider |
|
| Disallow: /member/
|
禁止Chinasospider访问/member目录 |
|
| Disallow: /api/
|
禁止Chinasospider访问/api目录 |
|
| Disallow: /web_api/
|
禁止Chinasospider访问/web_api目录 |
|
| Disallow: /udb_web/
|
禁止Chinasospider访问/udb_web目录 |
|
| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow: / |
禁止所有搜索引擎访问网站的任何部分 |
|
