Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
User-agent: *	开始配置：所有搜索引擎
Disallow:	允许所有搜索引擎访问网站的任何部分
Crawl-delay: 60	允许所有搜索引擎访问60目录（包括子目录）
Disallow: /cgi-bin/	禁止所有搜索引擎访问/cgi-bin目录
Disallow: /adt/	禁止所有搜索引擎访问/adt目录
Disallow: /zb/ad/	禁止所有搜索引擎访问/zb/ad目录
Disallow: /zb/css/	禁止所有搜索引擎访问/zb/css目录
Disallow: /zb/images/	禁止所有搜索引擎访问/zb/images目录
Disallow: /zb/style/	禁止所有搜索引擎访问/zb/style目录
Disallow: /static/	禁止所有搜索引擎访问/static目录
Disallow: /style/	禁止所有搜索引擎访问/style目录
Disallow: /gengduo/videom/	禁止所有搜索引擎访问/gengduo/videom目录
Disallow: /gengduo/static/	禁止所有搜索引擎访问/gengduo/static目录
Disallow: /gengduo/statick/	禁止所有搜索引擎访问/gengduo/statick目录
Disallow: /gengduo/lbz/	禁止所有搜索引擎访问/gengduo/lbz目录
Disallow: /gengduo/sta/	禁止所有搜索引擎访问/gengduo/sta目录
Disallow: /gengduo/stawap/	禁止所有搜索引擎访问/gengduo/stawap目录
Disallow: /gengduo/mt/	禁止所有搜索引擎访问/gengduo/mt目录
Disallow: /gjx/bkqs/txt/	禁止所有搜索引擎访问/gjx/bkqs/txt目录
Disallow: /gjx/bqb/api/	禁止所有搜索引擎访问/gjx/bqb/api目录
Disallow: /gjx/jyh/res/	禁止所有搜索引擎访问/gjx/jyh/res目录
Sitemap: sitemap.xml	Sitemap地址： sitemap.xml

活动推荐

Robots检测