Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
User-agent: AdsBot-Google	开始配置：AdsBot-Google
User-agent: Adsbot-Google-Mobile	开始配置：Adsbot-Google-Mobile
User-agent: Mediapartners-Google	开始配置：Mediapartners-Google
User-agent: AdIdxBot	开始配置：AdIdxBot
Allow: */translator/c/	允许AdIdxBot访问*/translator/c目录
Disallow: /cdn-cgi/bm/cv/	禁止AdIdxBot访问/cdn-cgi/bm/cv目录
Disallow: /cdn-cgi/challenge-platform/	禁止AdIdxBot访问/cdn-cgi/challenge-platform目录
Disallow: /cdn-cgi/images/trace/	禁止AdIdxBot访问/cdn-cgi/images/trace目录
Disallow: /cdn-cgi/rum	禁止AdIdxBot访问/cdn-cgi/rum目录（包括子目录）
Disallow: /cdn-cgi/scripts/	禁止AdIdxBot访问/cdn-cgi/scripts目录
Disallow: /cdn-cgi/styles/	禁止AdIdxBot访问/cdn-cgi/styles目录
Disallow: /cdn-cgi/zaraz/	禁止AdIdxBot访问/cdn-cgi/zaraz目录
Disallow: /*docs-api-legacy$	禁止AdIdxBot访问所有以*docs-api-legacy结尾的文件
Disallow: /*docs-api-legacy/	禁止AdIdxBot访问根目录下以docs-api-legacy结尾的目录
User-agent: ChatGPT-User	开始配置：ChatGPT-User
Disallow: /	禁止ChatGPT-User访问网站的任何部分
User-agent: Googlebot	开始配置：Googlebot
User-agent: Bingbot	开始配置：Bingbot
Disallow: */translator/c/	禁止Bingbot访问*/translator/c目录
Disallow: /cdn-cgi/bm/cv/	禁止Bingbot访问/cdn-cgi/bm/cv目录
Disallow: /cdn-cgi/challenge-platform/	禁止Bingbot访问/cdn-cgi/challenge-platform目录
Disallow: /cdn-cgi/images/trace/	禁止Bingbot访问/cdn-cgi/images/trace目录
Disallow: /cdn-cgi/rum	禁止Bingbot访问/cdn-cgi/rum目录（包括子目录）
Disallow: /cdn-cgi/scripts/	禁止Bingbot访问/cdn-cgi/scripts目录
Disallow: /cdn-cgi/styles/	禁止Bingbot访问/cdn-cgi/styles目录
Disallow: /cdn-cgi/zaraz/	禁止Bingbot访问/cdn-cgi/zaraz目录
Disallow: /*docs-api-legacy$	禁止Bingbot访问所有以*docs-api-legacy结尾的文件
Disallow: /*docs-api-legacy/	禁止Bingbot访问根目录下以docs-api-legacy结尾的目录

活动推荐

Robots检测