AI 爬虫白名单怎么配：GPTBot / ClaudeBot / PerplexityBot robots.txt 实战

2026-05-21艾景特科技阅读约 6 分钟

想做GEO 生成式引擎优化第一步就是让 LLM 爬虫进得来。很多公司花大价钱写了 llms.txt，结果 robots.txt 或 Cloudflare 默认把 GPTBot 一并拦了，等于在工厂门口装了铁门。本文给一份能直接复制的白名单模板。

一、2026 年要放行的 14 个 AI 爬虫

User-Agent	归属	用途
GPTBot	OpenAI	训练数据收集
ChatGPT-User	OpenAI	用户实时浏览（联网检索）
OAI-SearchBot	OpenAI	SearchGPT 索引
ClaudeBot	Anthropic	训练数据
Claude-User / Claude-SearchBot	Anthropic	Claude 联网检索
PerplexityBot	Perplexity	训练 + 索引
Perplexity-User	Perplexity	实时检索
Google-Extended	Google	Gemini / SGE 训练
Applebot-Extended	Apple	Apple Intelligence 训练
Bingbot	Microsoft	Copilot 索引
CCBot	Common Crawl	多模型训练数据源
Bytespider	字节跳动	豆包 / Kimi 上游
Baiduspider-render	百度	文心一言
Sogou web spider	搜狗	搜狗 / 腾讯元宝

二、robots.txt 模板（可直接抄）

# 主流 LLM 爬虫白名单 - 2026
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Bytespider
Allow: /

User-agent: CCBot
Allow: /

# 其他爬虫默认允许
User-agent: *
Allow: /
Disallow: /api/
Disallow: /admin/

Sitemap: https://your.com/sitemap.xml
Sitemap: https://your.com/llms.txt
Sitemap: https://your.com/llms-full.txt

三、Cloudflare 等 CDN 的额外开关

仅写 robots.txt 不够，许多 CDN/WAF 默认拦 AI 爬虫：

Cloudflare：Dashboard → Security → Bots → 关闭「Block AI Bots」；或 AI Crawl Control 里把上述 UA 加白
AWS CloudFront + WAF：在 ManagedRulesBotControl 里设 ExclusionList
阿里云 / 腾讯云：默认对 GPTBot 拦截率高，需要在 WAF 自定义规则放行
七牛 / Vercel：默认放行，但 rate limit 偶尔触发，调高阈值

四、抓取频率监控

# 每周看一眼（Nginx access.log）
awk '{print $14}' access.log | grep -E "GPTBot|ClaudeBot|PerplexityBot|Bytespider" \
  | sort | uniq -c | sort -rn

# 期望区间：每个主流爬虫每周 20-500 次访问
# < 5 次：可能被拦；> 5000 次：可能 rate-limit 漏判

五、5 个常见错误

❌ 用 Disallow: / 屏蔽所有：默认行为，等于零 GEO 曝光
❌ 只放行 GPTBot：Claude / Perplexity / 豆包流量全丢
❌ Cloudflare 默认 Block AI Bots 没关：robots.txt 再正确也没用
❌ 把 ChatGPT-User 当 GPTBot 一起拦：前者是用户实时浏览，拦了等于拒接客
❌ nofollow 全站：LLM 跟着链接抓你子页面，全 nofollow 等于孤岛

常见问题

做 GEO 优化要在 robots.txt 里放行哪些 AI 爬虫？

文章列出 2026 年要放行的主流 LLM 爬虫，国际包括 GPTBot、ChatGPT-User、OAI-SearchBot、ClaudeBot、Claude-User、PerplexityBot、Perplexity-User、Google-Extended、Applebot-Extended、Bingbot、CCBot；国内包括 Bytespider、Baiduspider-render、Sogou web spider 等。对每个 User-agent 显式 Allow: /。

只在 robots.txt 放行 AI 爬虫就够了吗？

不够。很多 CDN 和 WAF 默认拦截 AI 爬虫，例如 Cloudflare 的「Block AI Bots」开关、AWS CloudFront 的 ManagedRulesBotControl、阿里云和腾讯云的 WAF。robots.txt 写对了，还要在 CDN/WAF 侧把这些 User-Agent 放行，否则一样抓不到。

为什么不能把 ChatGPT-User 和 GPTBot 一起拦？

两者用途不同：GPTBot 用于训练数据收集，ChatGPT-User 是用户在 ChatGPT 里实时浏览触发的抓取。把 ChatGPT-User 拦掉等于拒绝用户实时访问你的页面，文章把这列为常见错误之一。

怎么监控 AI 爬虫的抓取频率？

可用 Nginx access.log 或 Cloudflare Analytics 按 User-Agent 分组统计，每周看 GPTBot、ClaudeBot、PerplexityBot、Bytespider 等抓取次数。文章给的经验区间是每个主流爬虫每周约 20-500 次，过少可能被拦，突然归零可能是网站被拉黑或 IP 被封。

艾景特能帮忙检查网站有没有被 LLM 抓到吗？

可以。艾景特科技提供一次「AI 爬虫可达性体检」，扫描 robots.txt、CDN 配置、sitemap 和 llms.txt，给出修复清单。需求可联系 [email protected]。

不确定网站当前是否被 LLM 抓到？

艾景特免费给你做一次「AI 爬虫可达性体检」：扫 robots.txt + CDN 配置 + sitemap + llms.txt，给出修复清单。

免费体检