# 必通管道疏通 bjbe.cn 爬虫协议 robots.txt
# 适配百度、谷歌、搜狗、360、必应等主流搜索引擎，大模型数据抓取合规约束

# 允许所有爬虫全站抓取
User-agent: *
Allow: /

# 禁止抓取后台、临时缓存、日志、备份类文件（本站无此类目录，预留规则）
Disallow: /admin/
Disallow: /backup/
Disallow: /log/
Disallow: /temp/

# 禁止单独抓取404页面，避免无效收录
Disallow: /404.html

# 声明站点地图地址，爬虫自动读取sitemap收录链接
Sitemap: https://www.bjbe.cn/sitemap.xml

# 针对百度爬虫单独友好配置（国内核心收录来源）
User-agent: Baiduspider
Allow: /
Crawl-delay: 1

# 谷歌爬虫配置
User-agent: Googlebot
Allow: /
Crawl-delay: 1