先给结论
User-Agent（UA）是请求头里标识"我是谁"的一段字符串。AI 服务商通常会公开自家抓取程序的 UA 名称，想让内容进入 AI 语料，就要在访问策略中放行这些标识；不想被抓取的目录，则用规则明确拒绝，而不是一刀切屏蔽所有陌生请求。
先分清三类抓取者
| 类型 | 用途 | 对站点的态度 |
|---|---|---|
| 搜索引擎爬虫 | 收录网页，带来搜索流量 | 应保持通畅，是基础流量来源 |
| AI 抓取程序 | 采集语料与检索素材 | 按收录目标选择放行 |
| 普通程序请求 | 扫描、采集、恶意行为混杂 | 按风险评估限制，保护站点 |
主要 AI 服务商会以官方文档公布各自爬虫的 UA 标识（以其官方文档为准，业界常见的如 GPTBot、ClaudeBot 一类命名），标识会随官方策略调整，应以文档当前版本为准，不凭记忆或传闻配置。
配置思路四步
- 明确目标：先想清楚希望被哪些 AI 服务引用，不希望被谁抓取。
- 查文档：到相关服务商官方文档核对最新的抓取标识清单。
- 做规则：放行目标标识，保留搜索引擎爬虫，对未知高风险请求按需限制。
- 看日志：配置后观察访问日志，确认目标标识请求正常通过、异常请求被挡下。
三条常见误区
- 把 robots.txt 写成全面拒绝，结果自己的内容进不了任何语料。
- 按网上抄来的过期标识配置，与官方文档已不一致。
- 只管放行不管观察，误封或漏封很久才发现。
相关阅读：GEO 服务
常见问题
放行 AI 爬虫会拖慢网站吗？
正常抓取对站点负载的影响有限，真正的风险来自高频异常请求。合理做法是放行目标标识、保留常规访问限制，并通过日志持续观察，而不是全面拒绝。
UA 和 robots.txt 是什么关系？
UA 是请求里的身份标识，robots.txt 按标识声明哪些路径可访问。两者配合：先由 robots.txt 表达规则，服务器侧策略再做补充，规则口径要保持一致。
屏蔽了 AI 抓取会有什么后果？
内容大概率不会进入相关语料，AI 回答中引用你的信息的机会随之减少。是否屏蔽取决于经营目标，想被引用就应放行，涉及敏感目录再单独限制。
怎么确认配置真的生效？
查看一段时间的访问日志，核对目标标识的请求是否正常返回、受限标识是否被按规则处理；配置变更后集中观察一轮，比只看设置界面更可靠。