| User-agent: Baiduspider |
开始配置：Baiduspider |
|
| Disallow: |
允许Baiduspider访问网站的任何部分 |
|
| User-agent: Sosospider |
开始配置：Sosospider |
|
| Disallow: |
允许Sosospider访问网站的任何部分 |
|
| User-agent: sogou spider |
开始配置：sogou spider |
|
| Disallow: |
允许sogou spider访问网站的任何部分 |
|
| User-agent: YodaoBot |
开始配置：YodaoBot |
|
| Disallow: / |
禁止YodaoBot访问网站的任何部分 |
|
| User-agent: Googlebot |
开始配置：Googlebot |
|
| Disallow: / |
禁止Googlebot访问网站的任何部分 |
|
| User-agent: Bingbot |
开始配置：Bingbot |
|
| Disallow: |
允许Bingbot访问网站的任何部分 |
|
| User-agent: Slurp |
开始配置：Slurp |
|
| Disallow: / |
禁止Slurp访问网站的任何部分 |
|
| User-agent: Teoma |
开始配置：Teoma |
|
| Disallow: / |
禁止Teoma访问网站的任何部分 |
|
| User-agent: ia_archiver |
开始配置：ia_archiver |
|
| Disallow: / |
禁止ia_archiver访问网站的任何部分 |
|
| User-agent: twiceler |
开始配置：twiceler |
|
| Disallow: / |
禁止twiceler访问网站的任何部分 |
|
| User-agent: MSNBot |
开始配置：MSNBot |
|
| Disallow: / |
禁止MSNBot访问网站的任何部分 |
|
| User-agent: Scrubby |
开始配置：Scrubby |
|
| Disallow: / |
禁止Scrubby访问网站的任何部分 |
|
| User-agent: Robozilla |
开始配置：Robozilla |
|
| Disallow: / |
禁止Robozilla访问网站的任何部分 |
|
| User-agent: Gigabot |
开始配置：Gigabot |
|
| Disallow: / |
禁止Gigabot访问网站的任何部分 |
|
| User-agent: googlebot-image |
开始配置：googlebot-image |
|
| Disallow: / |
禁止googlebot-image访问网站的任何部分 |
|
| User-agent: googlebot-mobile |
开始配置：googlebot-mobile |
|
| Disallow: / |
禁止googlebot-mobile访问网站的任何部分 |
|
| User-agent: yahoo-mmcrawler |
开始配置：yahoo-mmcrawler |
|
| Disallow: / |
禁止yahoo-mmcrawler访问网站的任何部分 |
|
| User-agent: yahoo-blogs/v3.9 |
开始配置：yahoo-blogs/v3.9 |
|
| Disallow: / |
禁止yahoo-blogs/v3.9访问网站的任何部分 |
|
| User-agent: psbot |
开始配置：psbot |
|
| Disallow: / |
禁止psbot访问网站的任何部分 |
|
| Disallow: /bin/ |
禁止psbot访问/bin目录 |
|
| Sitemap: http://domain.com/sitemap.xml |
Sitemap地址： http://domain.com/sitemap.xml |
|
| User-agent: SemrushBot |
开始配置：SemrushBot |
|
| Disallow: / |
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: SemrushBot-SA |
开始配置：SemrushBot-SA |
|
| Disallow: / |
禁止SemrushBot-SA访问网站的任何部分 |
|
| User-agent: Amazonbot # Amazon's user agent |
开始配置：Amazonbot # Amazon's user agent |
|
| Disallow: /do-not-crawl/ # disallow this directory |
禁止Amazonbot # Amazon's user agent访问/do-not-crawl/ # disallow this directory目录（包括子目录） |
|
| User-agent: SemrushBot |
开始配置：SemrushBot |
|
| Disallow: / |
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: DotBot |
开始配置：DotBot |
|
| Disallow: / |
禁止DotBot访问网站的任何部分 |
|
| User-agent: MegaIndex.ru |
开始配置：MegaIndex.ru |
|
| Disallow: / |
禁止MegaIndex.ru访问网站的任何部分 |
|
| User-agent: MauiBot |
开始配置：MauiBot |
|
| Disallow: / |
禁止MauiBot访问网站的任何部分 |
|
| User-agent: AhrefsBot |
开始配置：AhrefsBot |
|
| Disallow: / |
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: MJ12bot |
开始配置：MJ12bot |
|
| Disallow: / |
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: BLEXBot |
开始配置：BLEXBot |
|
| Disallow: / |
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: Amazonbot |
开始配置：Amazonbot |
|
| Disallow: / |
禁止Amazonbot访问网站的任何部分 |
|
