Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /course/list*type	禁止所有搜索引擎访问*/course/listtype**目录（包括子目录）
Disallow: /course/list*sort	禁止所有搜索引擎访问*/course/listsort**目录（包括子目录）
Disallow: /course/list*is_easy	禁止所有搜索引擎访问*/course/listis_easy**目录（包括子目录）
Disallow: /course/list*unlearn	禁止所有搜索引擎访问*/course/listunlearn**目录（包括子目录）
Disallow: /notepad/*	禁止所有搜索引擎访问/notepad下的所有文件
Disallow: /visitlog/	禁止所有搜索引擎访问/visitlog目录
Sitemap: https://www.imooc.com/sitemap3.xml	Sitemap地址： https://www.imooc.com/sitemap3.xml
Sitemap: https://www.imooc.com/sitemap.xml	Sitemap地址： https://www.imooc.com/sitemap.xml
Sitemap: http://www.imooc.com/sitemap1.xml	Sitemap地址： http://www.imooc.com/sitemap1.xml