| User-agent: *
|
开始配置：所有搜索引擎 |
|
| User-agent: Googlebot
|
开始配置：Googlebot |
|
| User-agent: Googlebot-News
|
开始配置：Googlebot-News |
|
| User-agent: Googlebot-Image
|
开始配置：Googlebot-Image |
|
| User-agent: Googlebot-Video
|
开始配置：Googlebot-Video |
|
| User-agent: Googlebot-Mobile
|
开始配置：Googlebot-Mobile |
|
| User-agent: AdsBot-Google
|
开始配置：AdsBot-Google |
|
| Disallow: /ArticleFileDownload.aspx
|
禁止AdsBot-Google访问根目录下的ArticleFileDownload.aspx文件 |
|
| Disallow: /registration-login/
|
禁止AdsBot-Google访问/registration-login目录 |
|
| Disallow: /search
|
禁止AdsBot-Google访问/search目录（包括子目录） |
|
| Disallow: /account/default.aspx
|
禁止AdsBot-Google访问/account目录下的default.aspx文件 |
|
| Disallow: /t3mp0mAt/
|
禁止AdsBot-Google访问/t3mp0mAt目录 |
|
| Disallow: /help/search.aspx
|
禁止AdsBot-Google访问/help目录下的search.aspx文件 |
|
| Disallow: /*aspxerrorpath*
|
禁止AdsBot-Google访问所有包含aspxerrorpath的文件 |
|
| Disallow: /login/v2*
|
禁止AdsBot-Google访问/login目录下以v2开头的目录（包括子目录） |
|
| Disallow: /account*
|
禁止AdsBot-Google访问根目录下以account开头的目录（包括子目录） |
|
| Disallow: *tagId*
|
禁止AdsBot-Google访问所有包含tagId的文件 |
|
| Disallow: /api/v1/*
|
禁止AdsBot-Google访问/api/v1下的所有文件 |
|
| Disallow: /forums/profile/*
|
禁止AdsBot-Google访问/forums/profile下的所有文件 |
|
| Disallow: *answered=*
|
禁止AdsBot-Google访问所有包含answered=的文件 |
|
| User-agent: bingbot
|
开始配置：bingbot |
|
| User-agent: msnbot
|
开始配置：msnbot |
|
| User-agent: msnbot-media
|
开始配置：msnbot-media |
|
| User-agent: adidxbot
|
开始配置：adidxbot |
|
| Disallow: /ArticleFileDownload.aspx
|
禁止adidxbot访问根目录下的ArticleFileDownload.aspx文件 |
|
| Disallow: /registration-login/
|
禁止adidxbot访问/registration-login目录 |
|
| Disallow: /search
|
禁止adidxbot访问/search目录（包括子目录） |
|
| Disallow: /account/default.aspx
|
禁止adidxbot访问/account目录下的default.aspx文件 |
|
| Disallow: /t3mp0mAt/
|
禁止adidxbot访问/t3mp0mAt目录 |
|
| Disallow: /help/search.aspx
|
禁止adidxbot访问/help目录下的search.aspx文件 |
|
| Disallow: /*aspxerrorpath*
|
禁止adidxbot访问所有包含aspxerrorpath的文件 |
|
| Disallow: /login/v2*
|
禁止adidxbot访问/login目录下以v2开头的目录（包括子目录） |
|
| Disallow: /account*
|
禁止adidxbot访问根目录下以account开头的目录（包括子目录） |
|
| Disallow: *tagId*
|
禁止adidxbot访问所有包含tagId的文件 |
|
| Disallow: /api/v1/*
|
禁止adidxbot访问/api/v1下的所有文件 |
|
| Disallow: /forums/profile/*
|
禁止adidxbot访问/forums/profile下的所有文件 |
|
| Disallow: *answered=*
|
禁止adidxbot访问所有包含answered=的文件 |
|
| User-agent: Yandex Bot
|
开始配置：Yandex Bot |
|
| crawl-delay: 10
|
允许Yandex Bot访问10目录（包括子目录） |
|
| Disallow: /ArticleFileDownload.aspx
|
禁止Yandex Bot访问根目录下的ArticleFileDownload.aspx文件 |
|
| Disallow: /registration-login/
|
禁止Yandex Bot访问/registration-login目录 |
|
| Disallow: /search
|
禁止Yandex Bot访问/search目录（包括子目录） |
|
| Disallow: /account/default.aspx
|
禁止Yandex Bot访问/account目录下的default.aspx文件 |
|
| Disallow: /t3mp0mAt/
|
禁止Yandex Bot访问/t3mp0mAt目录 |
|
| Disallow: /help/search.aspx
|
禁止Yandex Bot访问/help目录下的search.aspx文件 |
|
| Disallow: /*aspxerrorpath*
|
禁止Yandex Bot访问所有包含aspxerrorpath的文件 |
|
| Disallow: /login/v2*
|
禁止Yandex Bot访问/login目录下以v2开头的目录（包括子目录） |
|
| Disallow: /account*
|
禁止Yandex Bot访问根目录下以account开头的目录（包括子目录） |
|
| Disallow: *tagId*
|
禁止Yandex Bot访问所有包含tagId的文件 |
|
| Disallow: /api/v1/*
|
禁止Yandex Bot访问/api/v1下的所有文件 |
|
| Disallow: /forums/profile/*
|
禁止Yandex Bot访问/forums/profile下的所有文件 |
|
| Disallow: *answered=*
|
禁止Yandex Bot访问所有包含answered=的文件 |
|
| User-agent: slurp
|
开始配置：slurp |
|
| crawl-delay: 10
|
允许slurp访问10目录（包括子目录） |
|
| Disallow: /ArticleFileDownload.aspx
|
禁止slurp访问根目录下的ArticleFileDownload.aspx文件 |
|
| Disallow: /registration-login/
|
禁止slurp访问/registration-login目录 |
|
| Disallow: /search
|
禁止slurp访问/search目录（包括子目录） |
|
| Disallow: /account/default.aspx
|
禁止slurp访问/account目录下的default.aspx文件 |
|
| Disallow: /t3mp0mAt/
|
禁止slurp访问/t3mp0mAt目录 |
|
| Disallow: /help/search.aspx
|
禁止slurp访问/help目录下的search.aspx文件 |
|
| Disallow: /*aspxerrorpath*
|
禁止slurp访问所有包含aspxerrorpath的文件 |
|
| Disallow: /login/v2*
|
禁止slurp访问/login目录下以v2开头的目录（包括子目录） |
|
| Disallow: /account*
|
禁止slurp访问根目录下以account开头的目录（包括子目录） |
|
| Disallow: *tagId*
|
禁止slurp访问所有包含tagId的文件 |
|
| Disallow: /api/v1/*
|
禁止slurp访问/api/v1下的所有文件 |
|
| Disallow: /forums/profile/*
|
禁止slurp访问/forums/profile下的所有文件 |
|
| Disallow: *answered=*
|
禁止slurp访问所有包含answered=的文件 |
|
| User-agent: baiduspider
|
开始配置：baiduspider |
|
| User-agent: baiduspider-image
|
开始配置：baiduspider-image |
|
| User-agent: baiduspider-mobile
|
开始配置：baiduspider-mobile |
|
| User-agent: baiduspider-news
|
开始配置：baiduspider-news |
|
| User-agent: baiduspider-video
|
开始配置：baiduspider-video |
|
| Disallow: /ArticleFileDownload.aspx
|
禁止baiduspider-video访问根目录下的ArticleFileDownload.aspx文件 |
|
| Disallow: /registration-login/
|
禁止baiduspider-video访问/registration-login目录 |
|
| Disallow: /search
|
禁止baiduspider-video访问/search目录（包括子目录） |
|
| Disallow: /account/default.aspx
|
禁止baiduspider-video访问/account目录下的default.aspx文件 |
|
| Disallow: /t3mp0mAt/
|
禁止baiduspider-video访问/t3mp0mAt目录 |
|
| Disallow: /help/search.aspx
|
禁止baiduspider-video访问/help目录下的search.aspx文件 |
|
| Disallow: /*aspxerrorpath*
|
禁止baiduspider-video访问所有包含aspxerrorpath的文件 |
|
| Disallow: /login/v2*
|
禁止baiduspider-video访问/login目录下以v2开头的目录（包括子目录） |
|
| Disallow: /account*
|
禁止baiduspider-video访问根目录下以account开头的目录（包括子目录） |
|
| Disallow: *tagId*
|
禁止baiduspider-video访问所有包含tagId的文件 |
|
| Disallow: /api/v1/*
|
禁止baiduspider-video访问/api/v1下的所有文件 |
|
| Disallow: /forums/profile/*
|
禁止baiduspider-video访问/forums/profile下的所有文件 |
|
| Disallow: *answered=*
|
禁止baiduspider-video访问所有包含answered=的文件 |
|
| User-agent: facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
|
开始配置：facebookexternalhit/1.1 (+http |
|
| Disallow: /ArticleFileDownload.aspx
|
禁止facebookexternalhit/1.1 (+http访问根目录下的ArticleFileDownload.aspx文件 |
|
| Disallow: /registration-login/
|
禁止facebookexternalhit/1.1 (+http访问/registration-login目录 |
|
| Disallow: /search
|
禁止facebookexternalhit/1.1 (+http访问/search目录（包括子目录） |
|
| Disallow: /account/default.aspx
|
禁止facebookexternalhit/1.1 (+http访问/account目录下的default.aspx文件 |
|
| Disallow: /t3mp0mAt/
|
禁止facebookexternalhit/1.1 (+http访问/t3mp0mAt目录 |
|
| Disallow: /help/search.aspx
|
禁止facebookexternalhit/1.1 (+http访问/help目录下的search.aspx文件 |
|
| Disallow: /*aspxerrorpath*
|
禁止facebookexternalhit/1.1 (+http访问所有包含aspxerrorpath的文件 |
|
| Disallow: /login/v2*
|
禁止facebookexternalhit/1.1 (+http访问/login目录下以v2开头的目录（包括子目录） |
|
| Disallow: /account*
|
禁止facebookexternalhit/1.1 (+http访问根目录下以account开头的目录（包括子目录） |
|
| Disallow: *tagId*
|
禁止facebookexternalhit/1.1 (+http访问所有包含tagId的文件 |
|
| Disallow: /api/v1/*
|
禁止facebookexternalhit/1.1 (+http访问/api/v1下的所有文件 |
|
| Disallow: /forums/profile/*
|
禁止facebookexternalhit/1.1 (+http访问/forums/profile下的所有文件 |
|
| Disallow: *answered=*
|
禁止facebookexternalhit/1.1 (+http访问所有包含answered=的文件 |
|
| Sitemap: https://www.telerik.com/sitemap.xml
|
Sitemap地址： https://www.telerik.com/sitemap.xml
|
|
| Sitemap: https://www.telerik.com/sitemap_images.xml
|
Sitemap地址： https://www.telerik.com/sitemap_images.xml
|
|
| Sitemap: https://www.telerik.com/sitemap_video.xml |
Sitemap地址： https://www.telerik.com/sitemap_video.xml |
|
