检测网站的ROBOST状态和ROBOTS内容，ROBOTS是爬虫协议，ROBOTS写的是否友好决定搜索引擎的抓取程度。