| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow: /*.gif$
|
禁止所有搜索引擎访问所有以*.gif结尾的文件 |
|
| Disallow: /*.jpg$
|
禁止所有搜索引擎访问所有以*.jpg结尾的文件 |
|
| Disallow: /*.png$
|
禁止所有搜索引擎访问所有以*.png结尾的文件 |
|
| Disallow: /*.css$
|
禁止所有搜索引擎访问所有以*.css结尾的文件 |
|
| Disallow: /*.js$
|
禁止所有搜索引擎访问所有以*.js结尾的文件 |
|
| User-agent: SemrushBot
|
开始配置：SemrushBot |
|
| Disallow: /
|
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: SemrushBot-SA
|
开始配置：SemrushBot-SA |
|
| Disallow: /
|
禁止SemrushBot-SA访问网站的任何部分 |
|
| User-agent: SemrushBot-BA
|
开始配置：SemrushBot-BA |
|
| Disallow: /
|
禁止SemrushBot-BA访问网站的任何部分 |
|
| User-agent: SemrushBot-SI
|
开始配置：SemrushBot-SI |
|
| Disallow: /
|
禁止SemrushBot-SI访问网站的任何部分 |
|
| User-agent: SemrushBot-SWA
|
开始配置：SemrushBot-SWA |
|
| Disallow: /
|
禁止SemrushBot-SWA访问网站的任何部分 |
|
| User-agent: SemrushBot-CT
|
开始配置：SemrushBot-CT |
|
| Disallow: /
|
禁止SemrushBot-CT访问网站的任何部分 |
|
| User-agent: SemrushBot-BM
|
开始配置：SemrushBot-BM |
|
| Disallow: /
|
禁止SemrushBot-BM访问网站的任何部分 |
|
| User-agent: SemrushBot-SEOAB
|
开始配置：SemrushBot-SEOAB |
|
| Disallow: /
|
禁止SemrushBot-SEOAB访问网站的任何部分 |
|
| User-agent: Amazonbot
|
开始配置：Amazonbot |
|
| Disallow: /do-not-crawl/
|
禁止Amazonbot访问/do-not-crawl目录 |
|
| user-agent: AhrefsBot
|
开始配置：AhrefsBot |
|
| Disallow: /
|
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: DotBot
|
开始配置：DotBot |
|
| Disallow: /
|
禁止DotBot访问网站的任何部分 |
|
| User-agent: Uptimebot
|
开始配置：Uptimebot |
|
| Disallow: /
|
禁止Uptimebot访问网站的任何部分 |
|
| User-agent: Mail.Ru
|
开始配置：Mail.Ru |
|
| Disallow: /
|
禁止Mail.Ru访问网站的任何部分 |
|
| User-agent: aiHitBot
|
开始配置：aiHitBot |
|
| Disallow: /
|
禁止aiHitBot访问网站的任何部分 |
|
| User-agent: Researchscan
|
开始配置：Researchscan |
|
| Disallow: /
|
禁止Researchscan访问网站的任何部分 |
|
| User-agent: DnyzBot
|
开始配置：DnyzBot |
|
| Disallow: /
|
禁止DnyzBot访问网站的任何部分 |
|
| User-agent: spbot
|
开始配置：spbot |
|
| Disallow: /
|
禁止spbot访问网站的任何部分 |
|
| User-agent: MJ12bot
|
开始配置：MJ12bot |
|
| Disallow: /
|
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: MauiBot
|
开始配置：MauiBot |
|
| Disallow: /
|
禁止MauiBot访问网站的任何部分 |
|
| User-agent: MegaIndex.ru
|
开始配置：MegaIndex.ru |
|
| Disallow: /
|
禁止MegaIndex.ru访问网站的任何部分 |
|
| User-agent: BLEXBot
|
开始配置：BLEXBot |
|
| Disallow: /
|
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: ZoominfoBot
|
开始配置：ZoominfoBot |
|
| Disallow: /
|
禁止ZoominfoBot访问网站的任何部分 |
|
| User-agent: ExtLinksBot
|
开始配置：ExtLinksBot |
|
| Disallow: /
|
禁止ExtLinksBot访问网站的任何部分 |
|
| User-agent: hubspot
|
开始配置：hubspot |
|
| Disallow: /
|
禁止hubspot访问网站的任何部分 |
|
| User-agent: leiki
|
开始配置：leiki |
|
| Disallow: /
|
禁止leiki访问网站的任何部分 |
|
| User-agent: webmeup
|
开始配置：webmeup |
|
| Disallow: /
|
禁止webmeup访问网站的任何部分 |
|
| User-agent: googlebot-image
|
开始配置：googlebot-image |
|
| Disallow: /
|
禁止googlebot-image访问网站的任何部分 |
|
| User-agent: yahoo-mmcrawler
|
开始配置：yahoo-mmcrawler |
|
| Disallow: /
|
禁止yahoo-mmcrawler访问网站的任何部分 |
|
| User-agent: yahoo-blogs/v3.9
|
开始配置：yahoo-blogs/v3.9 |
|
| Disallow: /
|
禁止yahoo-blogs/v3.9访问网站的任何部分 |
|
| User-agent: Slurp
|
开始配置：Slurp |
|
| Disallow: /
|
禁止Slurp访问网站的任何部分 |
|
| User-agent: twiceler
|
开始配置：twiceler |
|
| Disallow: /
|
禁止twiceler访问网站的任何部分 |
|
| User-agent: psbot
|
开始配置：psbot |
|
| Disallow: / |
禁止psbot访问网站的任何部分 |
|
