文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: *msn* 开始配置:*msn*
    Disallow: / 禁止*msn*访问网站的任何部分
    User-agent: msnbot 开始配置:msnbot
    Disallow: / 禁止msnbot访问网站的任何部分
    User-agent: *Bing* 开始配置:*Bing*
    Disallow: / 禁止*Bing*访问网站的任何部分
    User-agent: bingbot 开始配置:bingbot
    Disallow: / 禁止bingbot访问网站的任何部分
    User-agent: dotbot 开始配置:dotbot
    Disallow: / 禁止dotbot访问网站的任何部分
    User-agent: MJ12bot 开始配置:MJ12bot
    Disallow: / 禁止MJ12bot访问网站的任何部分
    User-agent: AhrefsBot 开始配置:AhrefsBot
    Disallow: / 禁止AhrefsBot访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: /cgi-bin/ 禁止所有搜索引擎访问/cgi-bin目录
    Disallow: /tmp/ 禁止所有搜索引擎访问/tmp目录
    Disallow: /private/ 禁止所有搜索引擎访问/private目录