| User-agent: * |
开始配置：所有搜索引擎 |
|
| Disallow: /?p=* |
禁止所有搜索引擎访问,参数为p=*的页面 |
|
| Disallow: /?s=* |
禁止所有搜索引擎访问,参数为s=*的页面 |
|
| Disallow: /cgi-bin/ |
禁止所有搜索引擎访问/cgi-bin目录 |
|
| Disallow: /wp-admin/ |
禁止所有搜索引擎访问/wp-admin目录 |
|
| Disallow: /wp-includes/ |
禁止所有搜索引擎访问/wp-includes目录 |
|
| Disallow: /wp-content/plugins/ |
禁止所有搜索引擎访问/wp-content/plugins目录 |
|
| Disallow: /wp-content/cache/ |
禁止所有搜索引擎访问/wp-content/cache目录 |
|
| Disallow: /wp-content/themes/ |
禁止所有搜索引擎访问/wp-content/themes目录 |
|
| Disallow: /wp-login.php |
禁止所有搜索引擎访问根目录下的wp-login.php文件 |
|
| Disallow: /wp-register.php |
禁止所有搜索引擎访问根目录下的wp-register.php文件 |
|
| Disallow:/comments |
禁止所有搜索引擎访问/comments目录（包括子目录） |
|
| Disallow:/cm/js/ |
禁止所有搜索引擎访问/cm/js目录 |
|
| Disallow:/slide/ |
禁止所有搜索引擎访问/slide目录 |
|
| Disallow:/gallery/js/ |
禁止所有搜索引擎访问/gallery/js目录 |
|
| Disallow: /feed/ |
禁止所有搜索引擎访问/feed目录 |
|
| Disallow: /author/* |
禁止所有搜索引擎访问/author下的所有文件 |
|
| Disallow:/wap/ |
禁止所有搜索引擎访问/wap目录 |
|
| Disallow:/tag/ |
禁止所有搜索引擎访问/tag目录 |
|
| Disallow:/?link=* |
禁止所有搜索引擎访问,参数为link=*的页面 |
|
| Disallow:/?url=* |
禁止所有搜索引擎访问,参数为url=*的页面 |
|
| Disallow:/?r=* |
禁止所有搜索引擎访问,参数为r=*的页面 |
|
| Disallow:/go.php |
禁止所有搜索引擎访问根目录下的go.php文件 |
|
| Disallow:/safe.php |
禁止所有搜索引擎访问根目录下的safe.php文件 |
|
| Disallow:/go.php?url=* |
禁止所有搜索引擎访问go.php,参数为url=*的页面 |
|
| Disallow: /*?replytocom= |
禁止所有搜索引擎访问所有带参数为replytocom=的页面 |
|
| Disallow: /?clicktime=* |
禁止所有搜索引擎访问,参数为clicktime=*的页面 |
|
| Disallow: /? |
禁止所有搜索引擎访问,参数为的页面 |
|
| Disallow: /tastream/ |
禁止所有搜索引擎访问/tastream目录 |
|
| sitemap: http://www.wildhorde.com/sitemap.xml |
Sitemap地址： http://www.wildhorde.com/sitemap.xml |
|
| User-agent: Yisouspider |
开始配置：Yisouspider |
|
| Disallow: / |
禁止Yisouspider访问网站的任何部分 |
|
| User-agent: SemrushBot |
开始配置：SemrushBot |
|
| Disallow: / |
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: DotBot |
开始配置：DotBot |
|
| Disallow: / |
禁止DotBot访问网站的任何部分 |
|
| User-agent: MegaIndex.ru |
开始配置：MegaIndex.ru |
|
| Disallow: / |
禁止MegaIndex.ru访问网站的任何部分 |
|
| User-agent: MauiBot |
开始配置：MauiBot |
|
| Disallow: / |
禁止MauiBot访问网站的任何部分 |
|
| User-agent: AhrefsBot |
开始配置：AhrefsBot |
|
| Disallow: / |
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: MJ12bot |
开始配置：MJ12bot |
|
| Disallow: / |
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: mj12bot |
开始配置：mj12bot |
|
| Disallow: / |
禁止mj12bot访问网站的任何部分 |
|
| User-agent: BLEXBot |
开始配置：BLEXBot |
|
| Disallow: / |
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: YandexBot |
开始配置：YandexBot |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: grapeshot |
允许YandexBot访问grapeshot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: claudebot |
允许YandexBot访问claudebot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: ClaudeBot |
允许YandexBot访问ClaudeBot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: Amazonbot |
允许YandexBot访问Amazonbot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: coccocbot |
允许YandexBot访问coccocbot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: CriteoBot |
允许YandexBot访问CriteoBot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
| User–agent: DotBot |
允许YandexBot访问DotBot目录（包括子目录） |
|
| Disallow: / |
禁止YandexBot访问网站的任何部分 |
|
