Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow: /api/app/*	禁止所有搜索引擎访问/api/app下的所有文件
Disallow: /css/	禁止所有搜索引擎访问/css目录
Disallow: /js/	禁止所有搜索引擎访问/js目录
Disallow: /0day/*/	禁止所有搜索引擎访问/0day目录下以结尾的目录
Disallow: /0day/	禁止所有搜索引擎访问/0day目录
Disallow: /search.php?keyword=*	禁止所有搜索引擎访问search.php,参数为keyword=*的页面
Disallow: /search.php*	禁止所有搜索引擎访问根目录下的search.php*文件
Disallow: /libaosearch.php*	禁止所有搜索引擎访问根目录下的libaosearch.php*文件
Disallow: /libao_search.php*	禁止所有搜索引擎访问根目录下的libao_search.php*文件
Disallow: /news/19/	禁止所有搜索引擎访问/news/19目录
Disallow: /news/yejie/	禁止所有搜索引擎访问/news/yejie目录
Disallow: /news/yejie/*.html	禁止所有搜索引擎访问/news/yejie目录下所有以.html为后缀的文件
Disallow: /androids/	禁止所有搜索引擎访问/androids目录
Disallow: /androids/*.html	禁止所有搜索引擎访问/androids目录下所有以.html为后缀的文件