Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /src/*	禁止所有搜索引擎访问/src下的所有文件
Disallow: /e/*	禁止所有搜索引擎访问/e下的所有文件
Disallow: /image/20180125/5a445735c3de8200031514428213.png	禁止所有搜索引擎访问/image/20180125目录下的5a445735c3de8200031514428213.png文件
Disallow: /search/*	禁止所有搜索引擎访问/search下的所有文件
Disallow: /iopdfbhjl/*	禁止所有搜索引擎访问/iopdfbhjl下的所有文件
Disallow: /pcsdown/*	禁止所有搜索引擎访问/pcsdown下的所有文件
Disallow: /fjidaji/*	禁止所有搜索引擎访问/fjidaji下的所有文件
Disallow: /hdjisah/*	禁止所有搜索引擎访问/hdjisah下的所有文件
User-agent: Bingbot	开始配置：Bingbot
Crawl-delay: 5	允许Bingbot访问5目录（包括子目录）