| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow:
|
允许所有搜索引擎访问网站的任何部分 |
|
| User-agent: SemrushBot
|
开始配置：SemrushBot |
|
| Disallow: /
|
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: DotBot
|
开始配置：DotBot |
|
| Disallow: /
|
禁止DotBot访问网站的任何部分 |
|
| User-agent: MegaIndex.ru
|
开始配置：MegaIndex.ru |
|
| Disallow: /
|
禁止MegaIndex.ru访问网站的任何部分 |
|
| User-agent: MauiBot
|
开始配置：MauiBot |
|
| Disallow: /
|
禁止MauiBot访问网站的任何部分 |
|
| User-agent: AhrefsBot
|
开始配置：AhrefsBot |
|
| Disallow: /
|
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent: MJ12bot
|
开始配置：MJ12bot |
|
| Disallow: /
|
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: BLEXBot
|
开始配置：BLEXBot |
|
| Disallow: /
|
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: PetalBot
|
开始配置：PetalBot |
|
| Disallow: /
|
禁止PetalBot访问网站的任何部分 |
|
| User-agent: barkrowler
|
开始配置：barkrowler |
|
| Disallow: /
|
禁止barkrowler访问网站的任何部分 |
|
| User-agent: Amazonbot
|
开始配置：Amazonbot |
|
| Disallow: /
|
禁止Amazonbot访问网站的任何部分 |
|
| User-agent: oBot
|
开始配置：oBot |
|
| Disallow: /
|
禁止oBot访问网站的任何部分 |
|
| User-agent: Ezooms
|
开始配置：Ezooms |
|
| Disallow: /
|
禁止Ezooms访问网站的任何部分 |
|
| User-agent: LinkpadBot
|
开始配置：LinkpadBot |
|
| Disallow: /
|
禁止LinkpadBot访问网站的任何部分 |
|
| User-agent: EasouSpider
|
开始配置：EasouSpider |
|
| Disallow: /
|
禁止EasouSpider访问网站的任何部分 |
|
| User-agent: HttpClient
|
开始配置：HttpClient |
|
| Disallow: /
|
禁止HttpClient访问网站的任何部分 |
|
| User-agent: DigExt
|
开始配置：DigExt |
|
| Disallow: /
|
禁止DigExt访问网站的任何部分 |
|
| User-agent: YYSpider
|
开始配置：YYSpider |
|
| Disallow: /
|
禁止YYSpider访问网站的任何部分 |
|
| User-agent: lightDeckReports Bot
|
开始配置：lightDeckReports Bot |
|
| Disallow: /
|
禁止lightDeckReports Bot访问网站的任何部分 |
|
| User-agent: Python-urllib
|
开始配置：Python-urllib |
|
| Disallow: /
|
禁止Python-urllib访问网站的任何部分 |
|
| User-agent: Swiftbot
|
开始配置：Swiftbot |
|
| Disallow: /
|
禁止Swiftbot访问网站的任何部分 |
|
| User-agent: Linguee Bot
|
开始配置：Linguee Bot |
|
| Disallow: /
|
禁止Linguee Bot访问网站的任何部分 |
|
| User-agent: Nimbostratus-Bot
|
开始配置：Nimbostratus-Bot |
|
| Disallow: /
|
禁止Nimbostratus-Bot访问网站的任何部分 |
|
| User-agent: AlphaBot
|
开始配置：AlphaBot |
|
| Disallow: /
|
禁止AlphaBot访问网站的任何部分 |
|
| User-agent: mstshash
|
开始配置：mstshash |
|
| Disallow: /
|
禁止mstshash访问网站的任何部分 |
|
| User-agent: ExtLinksBot
|
开始配置：ExtLinksBot |
|
| Disallow: /
|
禁止ExtLinksBot访问网站的任何部分 |
|
| User-agent: SafeDNSBot
|
开始配置：SafeDNSBot |
|
| Disallow: /
|
禁止SafeDNSBot访问网站的任何部分 |
|
| User-agent: CCBot
|
开始配置：CCBot |
|
| Disallow: /
|
禁止CCBot访问网站的任何部分 |
|
| User-agent: aiHitBot
|
开始配置：aiHitBot |
|
| Disallow: /
|
禁止aiHitBot访问网站的任何部分 |
|
| User-agent: SurdotlyBot
|
开始配置：SurdotlyBot |
|
| Disallow: /
|
禁止SurdotlyBot访问网站的任何部分 |
|
| User-agent: AdsBot
|
开始配置：AdsBot |
|
| Disallow: /
|
禁止AdsBot访问网站的任何部分 |
|
| User-agent: PiplBot
|
开始配置：PiplBot |
|
| Disallow: /
|
禁止PiplBot访问网站的任何部分 |
|
| User-agent: SMTBot
|
开始配置：SMTBot |
|
| Disallow: /
|
禁止SMTBot访问网站的任何部分 |
|
| User-agent: TurnitinBot
|
开始配置：TurnitinBot |
|
| Disallow: /
|
禁止TurnitinBot访问网站的任何部分 |
|
| User-agent: Cliqzbot
|
开始配置：Cliqzbot |
|
| Disallow: /
|
禁止Cliqzbot访问网站的任何部分 |
|
| User-agent: XoviBot
|
开始配置：XoviBot |
|
| Disallow: /
|
禁止XoviBot访问网站的任何部分 |
|
| User-agent: linkdexbot
|
开始配置：linkdexbot |
|
| Disallow: /
|
禁止linkdexbot访问网站的任何部分 |
|
| User-agent: SeznamBot
|
开始配置：SeznamBot |
|
| Disallow: /
|
禁止SeznamBot访问网站的任何部分 |
|
| User-agent: spbot
|
开始配置：spbot |
|
| Disallow: /
|
禁止spbot访问网站的任何部分 |
|
| User-agent: YandexBot
|
开始配置：YandexBot |
|
| Disallow: /
|
禁止YandexBot访问网站的任何部分 |
|
| User-agent: Java
|
开始配置：Java |
|
| Disallow: /
|
禁止Java访问网站的任何部分 |
|
| User-agent: ApacheBench
|
开始配置：ApacheBench |
|
| Disallow: /
|
禁止ApacheBench访问网站的任何部分 |
|
| User-agent: CheckMarkNetwork
|
开始配置：CheckMarkNetwork |
|
| Disallow: /
|
禁止CheckMarkNetwork访问网站的任何部分 |
|
| User-agent: SSH
|
开始配置：SSH |
|
| Disallow: /
|
禁止SSH访问网站的任何部分 |
|
| User-agent: WinHTTP
|
开始配置：WinHTTP |
|
| Disallow: / |
禁止WinHTTP访问网站的任何部分 |
|
