文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: MJ12bot 开始配置:MJ12bot
    Disallow: / 禁止MJ12bot访问网站的任何部分
    User-agent: SemrushBot 开始配置:SemrushBot
    Disallow: / 禁止SemrushBot访问网站的任何部分
    User-agent: AhrefsBot 开始配置:AhrefsBot
    Disallow: / 禁止AhrefsBot访问网站的任何部分
    User-agent: dotbot 开始配置:dotbot
    Disallow: / 禁止dotbot访问网站的任何部分
    User-agent: Barkrowler 开始配置:Barkrowler
    Disallow: / 禁止Barkrowler访问网站的任何部分
    User-agent: BLEXBot 开始配置:BLEXBot
    Disallow: / 禁止BLEXBot访问网站的任何部分
    User-agent: DataForSeoBot 开始配置:DataForSeoBot
    Disallow: / 禁止DataForSeoBot访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: /gourl? 禁止所有搜索引擎访问gourl,参数为的页面