做 GEO 的人盯两拨数据:一波是监测工具给出的「AI 怎么回答」,另一波是自己服务器日志里的「AI 怎么抓你」。前者是输出,后者是输入——输入端的异常,往往在输出端被放大。
这篇讲服务器日志里有哪些 GEO 可用的信号。
日志里有什么:AI 爬虫的访问记录
主流 AI 公司的爬虫都有标识性的 User-Agent(GPTBot、ClaudeBot、Bytespider、PerplexityBot、Google-Extended 等,国内各家也陆续有了自己的抓取器)。每次抓取都会在访问日志里留下:
- 抓取时间与频率
- 抓取了哪些路径(尤其是深层页面)
- 返回状态码(200 / 403 / 404 / 5xx)
- 响应体积
四个能直接用的信号
1. 抓取覆盖率:AI 到底读没读到你的内容
现象:爬虫只抓首页和几个一级页面,产品页、测评页从未被抓取。
含义:这些内容对 AI 等于不存在。可能的原因:robots 限制、渲染依赖 JS、内链太深、响应太慢。
动作:对照「你认为重要」的页面清单和「实际被抓」的清单,差距就是技术债。
2. 抓取频率变化:模型对你的兴趣在变
现象:某段时间抓取频率显著上升或下降。
含义:上升通常好事(你的内容在被持续消费);骤降要警惕——可能触发了反爬判定、或内容质量分下降被降频。
动作:频率突变和可见性数据对照看,输入输出就能对上了。
3. 错误率:被拦住的比例
现象:爬虫请求大量返回 403/429。
含义:你的安全策略在误伤 AI 爬虫。很多默认配置会把非浏览器 UA 一律拦截——在 GEO 时代这是自断经脉。
动作:审计 WAF / CDN 规则,对已知 AI 爬虫的 UA 做白名单或降速放行。
4. 深层内容被抓:AI 在「研究」你
现象:爬虫开始抓取详情页、参数页、历史内容。
含义:模型在某个任务里需要你的深层信息(比如回答一个具体对比问题)。这是内容被「研究性消费」的信号,通常先于可见性提升。
日志 × 监测:交叉验证的三个场景
场景一:内容发了,AI 没反应。 先查日志:新页面被抓了吗?没被抓 → 是抓取问题(内链、渲染、robots);被抓了但没变化 → 是内容竞争力问题,回到信源策略。
场景二:可见性突然下跌。 查日志同期有没有抓取异常:频率掉了?错误率涨了?很多「算法突变」其实是自己的技术配置先动的手。
场景三:纠偏内容发布了,要验证生效。 日志里爬虫重新抓取纠偏页面 = 纠偏内容进入候选池,之后 1-2 周观察监测数据是否修正。
最小落地清单
不需要大数据平台,一份周报就够:
- [ ] 日志里按 UA 过滤出 AI 爬虫(GPTBot / ClaudeBot / 各家国产抓取器)
- [ ] 周维度统计:抓取 PV、独立 URL 数、Top 路径、状态码分布
- [ ] 重点页面「是否被抓」清单(产品页 / 核心内容页 / 纠偏页)
- [ ] 403/429 报警(阈值:单日超过历史均值 3 倍)
- [ ] 和监测可见性数据放在同一张周报里对照
边界说明
- 日志只能看到「来过的」爬虫,看不到「没来的」——所以它是覆盖率的证据,不是全部证据
- 部分抓取走 CDN 缓存,日志要取源站或 CDN 双份对照
- UA 可伪造,个别「伪装爬虫」的流量要甄别,别当成 AI 抓取自嗨
小结
监测工具告诉你 AI 说了什么,服务器日志告诉你 AI 读到了什么。两个数据源对不上的时候,问题通常出在中间那段管道上——而那段管道,恰好是完全由你自己控制的。