Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-Agent: *	开始配置：所有搜索引擎
Disallow: /a/	禁止所有搜索引擎访问/a目录
Disallow: /r/	禁止所有搜索引擎访问/r目录
Disallow: /s/sites/	禁止所有搜索引擎访问/s/sites目录
Disallow: /s/audience/	禁止所有搜索引擎访问/s/audience目录
Disallow: /s/reseller/user/	禁止所有搜索引擎访问/s/reseller/user目录
Disallow: /s/analytics/	禁止所有搜索引擎访问/s/analytics目录
User-agent: baiduspider	开始配置：baiduspider
allow:/article/blog/*.mip	允许baiduspider访问/article/blog目录下所有以.mip为后缀的文件
User-agent: Baiduspider	开始配置：Baiduspider
allow: /article/blog/*.mip	允许Baiduspider访问/article/blog目录下所有以.mip为后缀的文件
User-agent: *	开始配置：所有搜索引擎
Disallow: /article/blog/*.mip	禁止所有搜索引擎访问/article/blog目录下所有以.mip为后缀的文件
User-agent: adsbot-google	开始配置：adsbot-google
Disallow: /s/screenshot/	禁止adsbot-google访问/s/screenshot目录
Sitemap: https://www.sxl.cn/sitemap.xml	Sitemap地址： https://www.sxl.cn/sitemap.xml