Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Crawl-delay: 10	允许所有搜索引擎访问10目录（包括子目录）
Request-rate: 60/1m	允许所有搜索引擎访问60/1m目录（包括子目录）
Visit-time: 0000-0800	允许所有搜索引擎访问0000-0800目录（包括子目录）
Disallow: /Ebook/DigitalLibrary/ShowEBook.aspx?*	禁止所有搜索引擎访问ShowEBook.aspx带任何参数的页面
Disallow: /ExamItem/	禁止所有搜索引擎访问/ExamItem目录
Disallow: /UserCenter	禁止所有搜索引擎访问/UserCenter目录（包括子目录）
Disallow: /org/	禁止所有搜索引擎访问/org目录
Disallow: /Agreement/	禁止所有搜索引擎访问/Agreement目录
Disallow: /Book/	禁止所有搜索引擎访问/Book目录
Disallow: /WebSpecF/	禁止所有搜索引擎访问/WebSpecF目录
Disallow: /Tuiguang/	禁止所有搜索引擎访问/Tuiguang目录