Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
Crawl-delay: 1	允许所有引擎访问1目录（包括子目录）
User-Agent: *	开始配置：所有搜索引擎
Disallow: /bundles/*	禁止所有搜索引擎访问/bundles下的所有文件
Disallow: /Content/*	禁止所有搜索引擎访问/Content下的所有文件
Disallow: /signalr/*	禁止所有搜索引擎访问/signalr下的所有文件
Disallow: /baidu/rankstat	禁止所有搜索引擎访问/baidu/rankstat目录（包括子目录）
Disallow: /baidu/top100chartjson	禁止所有搜索引擎访问/baidu/top100chartjson目录（包括子目录）
Disallow: /baidu/relatedsitesjson	禁止所有搜索引擎访问/baidu/relatedsitesjson目录（包括子目录）
Disallow: /baidu/top100chartjson	禁止所有搜索引擎访问/baidu/top100chartjson目录（包括子目录）
Disallow: /account/*	禁止所有搜索引擎访问/account下的所有文件
Disallow: /seo/_refresh/*	禁止所有搜索引擎访问/seo/_refresh下的所有文件
Disallow: /cache/_refresh/*	禁止所有搜索引擎访问/cache/_refresh下的所有文件
Disallow: /api/*	禁止所有搜索引擎访问/api下的所有文件
Disallow: /seo/ip/*	禁止所有搜索引擎访问/seo/ip下的所有文件
Disallow: /signin	禁止所有搜索引擎访问/signin目录（包括子目录）
Disallow: /siteMisc/_SEOCertificate	禁止所有搜索引擎访问/siteMisc/_SEOCertificate目录（包括子目录）
Disallow: /seo/bidsite/*	禁止所有搜索引擎访问/seo/bidsite下的所有文件
Disallow: /seo/subdomains/*	禁止所有搜索引擎访问/seo/subdomains下的所有文件
Disallow: /xz/*	禁止所有搜索引擎访问/xz下的所有文件
Disallow: /seo/rank/up/*	禁止所有搜索引擎访问/seo/rank/up下的所有文件
Disallow: /seo/rank/down/*	禁止所有搜索引擎访问/seo/rank/down下的所有文件
Disallow: /seo/baidupc/record/*	禁止所有搜索引擎访问/seo/baidupc/record下的所有文件
Disallow: /seo/included/*	禁止所有搜索引擎访问/seo/included下的所有文件
Disallow: /check	禁止所有搜索引擎访问/check目录（包括子目录）
Disallow: /account/GetPublicQrCode	禁止所有搜索引擎访问/account/GetPublicQrCode目录（包括子目录）
Disallow: *?promote=	禁止所有搜索引擎访问所有带参数为promote=的页面
Disallow: /suggest/*	禁止所有搜索引擎访问/suggest下的所有文件
Disallow: /tradeseg/*	禁止所有搜索引擎访问/tradeseg下的所有文件
Disallow: /index/ChartData	禁止所有搜索引擎访问/index/ChartData目录（包括子目录）
Disallow: /Curriculum	禁止所有搜索引擎访问/Curriculum目录（包括子目录）
Disallow: /domain/check	禁止所有搜索引擎访问/domain/check目录（包括子目录）
Disallow: /radar/GetChartData	禁止所有搜索引擎访问/radar/GetChartData目录（包括子目录）
Disallow: /naotu/transit	禁止所有搜索引擎访问/naotu/transit目录（包括子目录）

活动推荐

Robots检测