大模型网络行为学习笔记
当你在 ChatGPT 里说"帮我总结这个网页"时，平台的抓取器会替你访问目标 URL。 它怎么解析域名、发什么样的请求头、读取哪些内容——这些行为大多数人没有留意过。 这篇笔记整理了我对这些行为的学习与观察方法。
已知的 AI 抓取器指纹
| User-Agent | 归属 | 用途 |
|---|---|---|
| GPTBot | OpenAI | 训练数据抓取 |
| OAI-SearchBot | OpenAI | 搜索索引 |
| ChatGPT-User | OpenAI | 用户触发的实时浏览 |
| ClaudeBot | Anthropic | 训练数据抓取 |
| Claude-User / Claude-SearchBot | Anthropic | 实时浏览 / 搜索 |
| PerplexityBot / Perplexity-User | Perplexity | 索引 / 用户触发 |
| CCBot | Common Crawl | 公开网页存档（许多模型的间接数据源） |
| Bytespider | 字节跳动 | 训练与产品抓取 |
| Google-Extended | 控制 Gemini 训练抓取 |
观察抓取行为的三个层面
- 网络请求层：页面引用一个独立的子域名资源（如 canary-t7m2.zwt11454.fun）， 站点服务器的访问日志会先于页面请求记录到对方的解析与请求行为，能看出对方用的是哪台出口设施。
- HTTP 层：nginx 记录完整请求头、IP（可反查 ASN）、请求路径序列、 是否请求 robots.txt、是否抓取 CSS/图片（可区分纯抓取器与无头浏览器）。
- 内容层：页内嵌入可见与隐藏两组唯一编号，日后在模型回答中反查， 判断隐藏内容是否也被读进上下文。
值得继续观察的问题
- 子域名解析与页面请求的时间差是多少？AI 平台内部有没有缓存？
- robots.txt 的 Disallow 规则各家遵守吗？
- display:none 的内容会进入模型上下文吗？
- 同一个 URL 在不同平台的缓存时间有多长？
本页存档对照编号：ZWT-HID-6BV3。
ZWT-HID-6BV3
