文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    User-agent: Amazonbot # Amazon's user agent 开始配置:Amazonbot # Amazon's user agent
    Disallow: / 禁止Amazonbot # Amazon's user agent访问网站的任何部分
    User-Agent: Googlebot 开始配置:Googlebot
    Disallow:/ 禁止Googlebot访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow:/*.js 禁止所有搜索引擎访问所有以.js为后缀的文件