Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Allow: /imgcate/	允许所有搜索引擎访问/imgcate目录
Allow: /help/	允许所有搜索引擎访问/help目录
Allow: /fuwu/	允许所有搜索引擎访问/fuwu目录
Allow: /cate/	允许所有搜索引擎访问/cate目录
Allow: /venus/	允许所有搜索引擎访问/venus目录
Allow: /index.html	允许所有搜索引擎访问根目录下的index.html文件
Disallow: /pics	禁止所有搜索引擎访问/pics目录（包括子目录）
Disallow: /d	禁止所有搜索引擎访问/d目录（包括子目录）
Disallow: /pics?	禁止所有搜索引擎访问pics,参数为的页面
Disallow: /d?	禁止所有搜索引擎访问d,参数为的页面
Disallow: /dl?	禁止所有搜索引擎访问dl,参数为的页面
Disallow: /pics/pics?	禁止所有搜索引擎访问pics,参数为的页面
Disallow: /pics/d?	禁止所有搜索引擎访问d,参数为的页面
Disallow: /websnapshot.do?	禁止所有搜索引擎访问websnapshot.do,参数为的页面
Disallow: /sohu?	禁止所有搜索引擎访问sohu,参数为的页面
Disallow: /websearch/	禁止所有搜索引擎访问/websearch目录
Disallow: /sohu/	禁止所有搜索引擎访问/sohu目录
Disallow: /site?	禁止所有搜索引擎访问site,参数为的页面
Disallow: /xml?	禁止所有搜索引擎访问xml,参数为的页面
Disallow: /express/	禁止所有搜索引擎访问/express目录