Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Allow: /newmedia/	允许所有搜索引擎访问/newmedia目录
Disallow: /e/public/ViewClick/?*	禁止所有搜索引擎访问任何带参数的页面
Disallow: /e/extend/	禁止所有搜索引擎访问/e/extend目录
Disallow: /google-sem/	禁止所有搜索引擎访问/google-sem目录
Disallow: /html/	禁止所有搜索引擎访问/html目录
Disallow: /logreport/	禁止所有搜索引擎访问/logreport目录
Disallow: /mformobile/	禁止所有搜索引擎访问/mformobile目录
Disallow: /mobilejj/	禁止所有搜索引擎访问/mobilejj目录
Disallow: /mobilesem/	禁止所有搜索引擎访问/mobilesem目录
Disallow: /search/	禁止所有搜索引擎访问/search目录
Disallow: /SEM/	禁止所有搜索引擎访问/SEM目录
Disallow: /semg/	禁止所有搜索引擎访问/semg目录
Disallow: /seo-sem/	禁止所有搜索引擎访问/seo-sem目录
Disallow: /test/	禁止所有搜索引擎访问/test目录
Disallow: /zmt/	禁止所有搜索引擎访问/zmt目录
Disallow: /.doc$	禁止所有搜索引擎访问所有以.doc结尾的文件
Sitemap: https://www.moocfan.net/sitemap.txt	Sitemap地址： https://www.moocfan.net/sitemap.txt