Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow:/*.html	禁止所有搜索引擎访问所有以.html为后缀的文件
Disallow:/*.phtml	禁止所有搜索引擎访问所有以.phtml为后缀的文件
Disallow:/*.shtml	禁止所有搜索引擎访问所有以.shtml为后缀的文件
Disallow:/*.jsp	禁止所有搜索引擎访问所有以.jsp为后缀的文件
Disallow:/*.php	禁止所有搜索引擎访问所有以.php为后缀的文件
Disallow:/*.htm	禁止所有搜索引擎访问所有以.htm为后缀的文件
Disallow:/*.xml	禁止所有搜索引擎访问所有以.xml为后缀的文件
Disallow:/*.exe	禁止所有搜索引擎访问所有以.exe为后缀的文件
Disallow:/2021	禁止所有搜索引擎访问所有包含2021的文件
Disallow:/2020	禁止所有搜索引擎访问所有包含2020的文件
Disallow:/20*	禁止所有搜索引擎访问根目录下以20开头的目录（包括子目录）
Disallow:/xiazai	禁止所有搜索引擎访问所有包含xiazai的文件
Disallow:/android	禁止所有搜索引擎访问所有包含android的文件