Robots检测工具

Robots检测

异地排名页面相似度网站PK Robots检测 Robots生成死链检测 HTTPS检测 Meta标签生成网站日志分析

文件状态良好，请查看下面具体的报告。

规则	解释	有效
Sitemap: https://www.awwwards.com/sitemap.xml	Sitemap地址： https://www.awwwards.com/sitemap.xml
User-agent: *	开始配置：所有搜索引擎
Disallow: /feed	禁止所有搜索引擎访问/feed目录（包括子目录）
Disallow: /vote/	禁止所有搜索引擎访问/vote目录
Disallow: /tag/	禁止所有搜索引擎访问/tag目录
Disallow: /11d12designs/	禁止所有搜索引擎访问/11d12designs目录
Disallow: /publicclass/	禁止所有搜索引擎访问/publicclass目录
Disallow: /design-products/	禁止所有搜索引擎访问/design-products目录
Disallow: /submission/	禁止所有搜索引擎访问/submission目录
Disallow: /app.php/	禁止所有搜索引擎访问/app.php目录
Disallow: /gallery/	禁止所有搜索引擎访问/gallery目录
Disallow: /search-websites	禁止所有搜索引擎访问/search-websites目录（包括子目录）
Disallow: /events/tag/	禁止所有搜索引擎访问/events/tag目录
Disallow: *favourites?page	禁止所有搜索引擎访问favourites,参数为page*的页面
Disallow: /preview/	禁止所有搜索引擎访问/preview目录
Disallow: /search-articles	禁止所有搜索引擎访问/search-articles目录（包括子目录）
Disallow: /inspiration/search	禁止所有搜索引擎访问/inspiration/search目录（包括子目录）
Disallow: /websites/?	禁止所有搜索引擎访问,参数为的页面
Disallow: /directory/search/?	禁止所有搜索引擎访问,参数为的页面
Disallow: /*/likes$	禁止所有搜索引擎访问/目录下所有以likes*结尾的文件
Disallow: /*/awards$	禁止所有搜索引擎访问/目录下所有以awards*结尾的文件
Disallow: /*/follow$	禁止所有搜索引擎访问/目录下所有以follow*结尾的文件
Disallow: /*/votes$	禁止所有搜索引擎访问/目录下所有以votes*结尾的文件
Disallow: /*/favorites$	禁止所有搜索引擎访问/目录下所有以favorites*结尾的文件
Disallow: /elements/*	禁止所有搜索引擎访问/elements下的所有文件
Disallow: /inspiration_search/?	禁止所有搜索引擎访问,参数为的页面
Disallow: /*/mobile-excellence-report	禁止所有搜索引擎访问*//mobile-excellence-report**目录（包括子目录）
Disallow: /academy/new/courses/*	禁止所有搜索引擎访问/academy/new/courses下的所有文件
Disallow: /academy/new/courses/*	禁止所有搜索引擎访问/academy/new/courses下的所有文件
User-agent: MSIECrawler	开始配置：MSIECrawler
Disallow: /	禁止MSIECrawler访问网站的任何部分
User-agent: psbot	开始配置：psbot
Disallow: /	禁止psbot访问网站的任何部分
User-agent: Fasterfox	开始配置：Fasterfox
Disallow: /	禁止Fasterfox访问网站的任何部分
User-agent: Xenu	开始配置：Xenu
Disallow: /	禁止Xenu访问网站的任何部分
User-agent: SiteSucker	开始配置：SiteSucker
Disallow: /	禁止SiteSucker访问网站的任何部分
User-agent: dotbot	开始配置：dotbot
Disallow: /	禁止dotbot访问网站的任何部分

活动推荐

Robots检测