Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent:*	开始配置：所有搜索引擎
Disallow:/index.asp?t=*$	禁止所有搜索引擎访问所有以index.asp?t=*结尾的文件
Disallow:/?t=*$	禁止所有搜索引擎访问所有以?t=*结尾的文件
Disallow:/index.asp?_t=*$	禁止所有搜索引擎访问所有以index.asp?_t=*结尾的文件
Disallow:/?_t=*$	禁止所有搜索引擎访问所有以?_t=*结尾的文件
Disallow:/plug/pay/	禁止所有搜索引擎访问/plug/pay目录
Disallow:/yanshi/	禁止所有搜索引擎访问/yanshi目录
Disallow:/s_fm_mf/	禁止所有搜索引擎访问/s_fm_mf目录
Disallow:/s_fm_mf/?*	禁止所有搜索引擎访问任何带参数的页面
Disallow:/s_fm_sf/	禁止所有搜索引擎访问/s_fm_sf目录
Disallow:/s_fm_sf/?*	禁止所有搜索引擎访问任何带参数的页面
User-agent: bingbot	开始配置：bingbot
Disallow:/hoc*	禁止bingbot访问根目录下以hoc开头的目录（包括子目录）
Disallow:/hot*	禁止bingbot访问根目录下以hot开头的目录（包括子目录）
Disallow:/cop*	禁止bingbot访问根目录下以cop开头的目录（包括子目录）
User-agent: BLEXBot	开始配置：BLEXBot
Disallow: /	禁止BLEXBot访问网站的任何部分
User-agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-agent: dotbot	开始配置：dotbot
Disallow: /	禁止dotbot访问网站的任何部分
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分

活动推荐

Robots检测