Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /Manage/Login.aspx/	禁止MJ12bot访问/Manage/Login.aspx目录
User-agent: MJ12bot	开始配置：MJ12bot
Disallow: /Manage/index.aspx/	禁止MJ12bot访问/Manage/index.aspx目录
User-agent: dotbot	开始配置：dotbot
Crawl-delay: 5	允许dotbot访问5目录（包括子目录）
User-agent: bingbot	开始配置：bingbot
Disallow: /Manage/Login.aspx/	禁止bingbot访问/Manage/Login.aspx目录
User-agent: bingbot	开始配置：bingbot
Disallow: /Manage/index.aspx/HeadlessChrome/99.0.4844.0	禁止bingbot访问/Manage/index.aspx/HeadlessChrome目录下的99.0.4844.0文件
Disallow: /Manage/Login.aspxx/	禁止bingbot访问/Manage/Login.aspxx目录
User-agent:Chrome/99.0.4844.0	开始配置：Chrome/99.0.4844.0
Disallow: /Manage/index.aspx/	禁止Chrome/99.0.4844.0访问/Manage/index.aspx目录
User-agent:WordPress	开始配置：WordPress
Disallow: /Manage/Login.aspx/	禁止WordPress访问/Manage/Login.aspx目录
User-agent:WordPress	开始配置：WordPress
Disallow: /Manage/index.aspx/	禁止WordPress访问/Manage/index.aspx目录
User-agent:Build	开始配置：Build
Disallow:/	禁止Build访问网站的任何部分