# 全局设置:对所有未指定的爬虫生效 User-agent: * # 允许访问所有内容(根据需要调整) Allow: / # 建议爬虫访问间隔为10秒(单位:秒) Crawl-delay: 10 # 针对百度爬虫的单独设置 User-agent: Baiduspider Allow: / # 百度爬虫建议间隔8秒 Crawl-delay: 8 # 针对谷歌爬虫的单独设置 User-agent: Googlebot Allow: / # 谷歌爬虫建议间隔10秒 Crawl-delay: 10 # 针对必应爬虫的单独设置 User-agent: Bingbot Allow: / # 必应爬虫建议间隔12秒 Crawl-delay: 12