Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /assets/	禁止所有搜索引擎访问/assets目录
Disallow: /static/	禁止所有搜索引擎访问/static目录
Disallow: /plugin/	禁止所有搜索引擎访问/plugin目录
Disallow: /tinymce/	禁止所有搜索引擎访问/tinymce目录
Disallow: /_ctoweb/	禁止所有搜索引擎访问/_ctoweb目录
Disallow: /php*	禁止所有搜索引擎访问根目录下以php开头的目录（包括子目录）
Disallow: /?	禁止所有搜索引擎访问任何带参数的页面
Sitemap: https://www.51cto.com/sitemap/google/index.xml	Sitemap地址： https://www.51cto.com/sitemap/google/index.xml
Sitemap: https://www.51cto.com/sitemap/google/index_detail.xml	Sitemap地址： https://www.51cto.com/sitemap/google/index_detail.xml
Sitemap: https://www.51cto.com/sitemap/google/list.xml	Sitemap地址： https://www.51cto.com/sitemap/google/list.xml
Sitemap: https://www.51cto.com/sitemap/google/others.xml	Sitemap地址： https://www.51cto.com/sitemap/google/others.xml