Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Allow: /	允许所有搜索引擎访问网站的任何部分
Disallow: /wapindex	禁止所有搜索引擎访问/wapindex目录（包括子目录）
Disallow: /mip/	禁止所有搜索引擎访问/mip目录
Disallow: /m/	禁止所有搜索引擎访问/m目录
Disallow: /pc/pay/	禁止所有搜索引擎访问/pc/pay目录
Disallow: /pc/qalist/clinicno_/problemid_/	禁止所有搜索引擎访问/pc/qalist/clinicno_目录下以problemid_*开头的目录
Disallow: /ask/	禁止所有搜索引擎访问/ask目录
Disallow: /problem/	禁止所有搜索引擎访问/problem目录
Disallow: /api/	禁止所有搜索引擎访问/api目录
Disallow: /alipaypub/	禁止所有搜索引擎访问/alipaypub目录
Disallow: /publicwap/	禁止所有搜索引擎访问/publicwap目录
Disallow: /problemid_*/	禁止所有搜索引擎访问根目录下以problemid_开头的目录
Disallow: /ssl/api/accounts/	禁止所有搜索引擎访问/ssl/api/accounts目录
Disallow: /pc/search/	禁止所有搜索引擎访问/pc/search目录
User-agent: GPTBot	开始配置：GPTBot
Disallow: /	禁止GPTBot访问网站的任何部分
User-agent: DotBot	开始配置：DotBot
Disallow: /	禁止DotBot访问网站的任何部分
User-Agent: AhrefsBot	开始配置：AhrefsBot
Disallow: /	禁止AhrefsBot访问网站的任何部分
User-Agent: MJ12bot	开始配置：MJ12bot
Disallow: /	禁止MJ12bot访问网站的任何部分
User-Agent: SemrushBot	开始配置：SemrushBot
Disallow: /	禁止SemrushBot访问网站的任何部分
User-Agent: ImagesiftBot	开始配置：ImagesiftBot
Disallow: /	禁止ImagesiftBot访问网站的任何部分
User-Agent: Amazonbot	开始配置：Amazonbot
Disallow: /	禁止Amazonbot访问网站的任何部分
User-Agent: DataForSeoBot	开始配置：DataForSeoBot
Disallow: /	禁止DataForSeoBot访问网站的任何部分
User-Agent: YaoSouBot	开始配置：YaoSouBot
Disallow: /	禁止YaoSouBot访问网站的任何部分
User-Agent: Applebot	开始配置：Applebot
Disallow: /	禁止Applebot访问网站的任何部分

活动推荐

Robots检测