文件状态良好,请查看下面具体的报告。

    规则 解释 有效
    Sitemap: https://weibo.com/sitemap.xml Sitemap地址: https://weibo.com/sitemap.xml
    User-Agent: Baiduspider 开始配置:Baiduspider
    Disallow: 允许Baiduspider访问网站的任何部分
    User-agent: 360Spider 开始配置:360Spider
    Disallow: 允许360Spider访问网站的任何部分
    User-agent: Googlebot 开始配置:Googlebot
    Disallow: 允许Googlebot访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Allow: /ads.txt 允许所有搜索引擎访问根目录下的ads.txt文件
    User-agent: Sogou web spider 开始配置:Sogou web spider
    Disallow: 允许Sogou web spider访问网站的任何部分
    User-agent: bingbot 开始配置:bingbot
    Disallow: 允许bingbot访问网站的任何部分
    User-agent: smspider 开始配置:smspider
    Disallow: 允许smspider访问网站的任何部分
    User-agent: HaosouSpider 开始配置:HaosouSpider
    Disallow: 允许HaosouSpider访问网站的任何部分
    User-agent: YisouSpider 开始配置:YisouSpider
    Disallow: 允许YisouSpider访问网站的任何部分
    User-agent: * 开始配置:所有搜索引擎
    Disallow: / 禁止所有搜索引擎访问网站的任何部分