| User-agent: *
|
开始配置：所有搜索引擎 |
|
| Disallow: /admin
|
禁止所有搜索引擎访问/admin目录（包括子目录） |
|
| Disallow: /user-*
|
禁止所有搜索引擎访问根目录下以user-开头的目录（包括子目录） |
|
| Disallow: /serach-*
|
禁止所有搜索引擎访问根目录下以serach-开头的目录（包括子目录） |
|
| Disallow: /home-*
|
禁止所有搜索引擎访问根目录下以home-开头的目录（包括子目录） |
|
| Disallow: /my-*
|
禁止所有搜索引擎访问根目录下以my-开头的目录（包括子目录） |
|
| Disallow: /user
|
禁止所有搜索引擎访问/user目录（包括子目录） |
|
| Disallow: /serach
|
禁止所有搜索引擎访问/serach目录（包括子目录） |
|
| Disallow: /home
|
禁止所有搜索引擎访问/home目录（包括子目录） |
|
| Disallow: /my
|
禁止所有搜索引擎访问/my目录（包括子目录） |
|
| Disallow: /caiji*
|
禁止所有搜索引擎访问根目录下以caiji开头的目录（包括子目录） |
|
| Disallow: /*?*
|
禁止所有搜索引擎访问任何带参数的页面 |
|
| User-agent: Googlebot
|
开始配置：Googlebot |
|
| Disallow: /
|
禁止Googlebot访问网站的任何部分 |
|
| User-agent: Sosospider
|
开始配置：Sosospider |
|
| Disallow: /
|
禁止Sosospider访问网站的任何部分 |
|
| User-agent: YisouSpider
|
开始配置：YisouSpider |
|
| Disallow: /
|
禁止YisouSpider访问网站的任何部分 |
|
| User-agent: Bytespider
|
开始配置：Bytespider |
|
| Disallow: /
|
禁止Bytespider访问网站的任何部分 |
|
| User-agent: Toutiao Spider
|
开始配置：Toutiao Spider |
|
| Disallow: /
|
禁止Toutiao Spider访问网站的任何部分 |
|
| User-agent: DataForSeoBot
|
开始配置：DataForSeoBot |
|
| Disallow: /
|
禁止DataForSeoBot访问网站的任何部分 |
|
| User-agent: SemrushBot
|
开始配置：SemrushBot |
|
| Disallow: /
|
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: SemrushBot-SA
|
开始配置：SemrushBot-SA |
|
| Disallow: /
|
禁止SemrushBot-SA访问网站的任何部分 |
|
| User-agent: MegaIndex.ru
|
开始配置：MegaIndex.ru |
|
| Disallow: /
|
禁止MegaIndex.ru访问网站的任何部分 |
|
| User-agent: MauiBot
|
开始配置：MauiBot |
|
| Disallow: /
|
禁止MauiBot访问网站的任何部分 |
|
| User-agent: AhrefsBot
|
开始配置：AhrefsBot |
|
| Disallow: /
|
禁止AhrefsBot访问网站的任何部分 |
|
| User-agent:MJ12bot
|
开始配置：MJ12bot |
|
| Disallow:/
|
禁止MJ12bot访问网站的任何部分 |
|
| Disallow: /
|
禁止MJ12bot访问网站的任何部分 |
|
| User-agent: BLEXBot
|
开始配置：BLEXBot |
|
| Disallow: /
|
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: Sosospider
|
开始配置：Sosospider |
|
| Disallow: /
|
禁止Sosospider访问网站的任何部分 |
|
| User-agent: YisouSpider
|
开始配置：YisouSpider |
|
| Disallow: /
|
禁止YisouSpider访问网站的任何部分 |
|
| User-agent: amazonbot
|
开始配置：amazonbot |
|
| Disallow: /
|
禁止amazonbot访问网站的任何部分 |
|
| User-agent: Amazonbot
|
开始配置：Amazonbot |
|
| Disallow: /
|
禁止Amazonbot访问网站的任何部分 |
|
| User-agent: Googlebot
|
开始配置：Googlebot |
|
| Disallow: /
|
禁止Googlebot访问网站的任何部分 |
|
| User-agent: googlebot-image
|
开始配置：googlebot-image |
|
| Disallow: /
|
禁止googlebot-image访问网站的任何部分 |
|
| User-agent: googlebot-mobile
|
开始配置：googlebot-mobile |
|
| Disallow: /
|
禁止googlebot-mobile访问网站的任何部分 |
|
| User-agent: yahoo-mmcrawler
|
开始配置：yahoo-mmcrawler |
|
| Disallow: /
|
禁止yahoo-mmcrawler访问网站的任何部分 |
|
| User-agent: yahoo-blogs/v3.9
|
开始配置：yahoo-blogs/v3.9 |
|
| Disallow: /
|
禁止yahoo-blogs/v3.9访问网站的任何部分 |
|
| User-agent: Slurp
|
开始配置：Slurp |
|
| Disallow: /
|
禁止Slurp访问网站的任何部分 |
|
| User-agent: twiceler
|
开始配置：twiceler |
|
| Disallow: /
|
禁止twiceler访问网站的任何部分 |
|
| User-agent: psbot
|
开始配置：psbot |
|
| Disallow: /
|
禁止psbot访问网站的任何部分 |
|
| User-agent: YandexBot
|
开始配置：YandexBot |
|
| Disallow: /
|
禁止YandexBot访问网站的任何部分 |
|
| User-agent: SemrushBot
|
开始配置：SemrushBot |
|
| Disallow: /
|
禁止SemrushBot访问网站的任何部分 |
|
| User-agent: DotBot
|
开始配置：DotBot |
|
| Disallow: /
|
禁止DotBot访问网站的任何部分 |
|
| User-agent: MauiBot
|
开始配置：MauiBot |
|
| Disallow: /
|
禁止MauiBot访问网站的任何部分 |
|
| User-agent: MegaIndex.ru
|
开始配置：MegaIndex.ru |
|
| Disallow: /
|
禁止MegaIndex.ru访问网站的任何部分 |
|
| User-agent: BLEXBot
|
开始配置：BLEXBot |
|
| Disallow: /
|
禁止BLEXBot访问网站的任何部分 |
|
| User-agent: ZoominfoBot
|
开始配置：ZoominfoBot |
|
| Disallow: /
|
禁止ZoominfoBot访问网站的任何部分 |
|
| User-agent: ExtLinksBot
|
开始配置：ExtLinksBot |
|
| Disallow: /
|
禁止ExtLinksBot访问网站的任何部分 |
|
| User-agent: hubspot
|
开始配置：hubspot |
|
| Disallow: /
|
禁止hubspot访问网站的任何部分 |
|
| User-agent: leiki
|
开始配置：leiki |
|
| Disallow: /
|
禁止leiki访问网站的任何部分 |
|
| User-agent: webmeup
|
开始配置：webmeup |
|
| Disallow: /
|
禁止webmeup访问网站的任何部分 |
|
| User-agent: ClaudeBot
|
开始配置：ClaudeBot |
|
| Disallow: /
|
禁止ClaudeBot访问网站的任何部分 |
|
| crawl-delay: 8
|
允许ClaudeBot访问8目录（包括子目录） |
|
| Sitemap: https://www.izce.net/sitemap.txt |
Sitemap地址： https://www.izce.net/sitemap.txt |
|
