百度蜘蛛：源站正常而边缘节点异常时应保留哪些证据
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /d95ac092b4ae.html
📄
百度蜘蛛：源站正常而边缘节点异常时应保留哪些证据
当源站日志显示百度蜘蛛请求正常返回，但边缘节点侧出现超时、5xx或回源失败时，不要急着改robots.txt或删页面。此时最该保留的是能区分“源站问题”和“边缘链路问题”的原始证据，再决定是继续观察、改写边缘规则还是退出该节点。下面按取舍场景展开。
先分清两种“正常”：源站正常不代表蜘蛛看到的是正常
源站正常通常指应用进程、数据库和源站访问日志中的响应码正常。边缘节点异常则可能表现为：百度蜘蛛请求到达边缘后，边缘返回5xx、连接超时，或边缘回源失败但源站没有对应请求记录。这两类现象指向不同责任面。
如果源站日志里能看到百度蜘蛛IP的请求且返回200，但边缘监控里同一时间段的5xx上升，优先怀疑边缘到源站的回源链路、边缘缓存规则或边缘节点局部故障。此时保留证据的目标不是证明“谁对谁错”，而是让下一步动作有可复查的依据。
需要保留的证据包括：
- 边缘节点返回给百度蜘蛛的完整响应头，含状态码、时间戳、节点标识（如果平台提供）。
- 同一时间窗口内源站访问日志中对应URL的请求记录，重点看是否有百度蜘蛛UA和IP段。
- 边缘侧的回源日志或回源失败记录，注明是连接超时、TLS握手失败还是源站返回5xx。
- 至少一个可复现的URL样本，并记录请求时间、请求方法和响应码，方便后续比对。
这些证据的作用是：如果源站日志完全没有对应请求，说明请求可能没到源站，边缘回源环节更可疑；如果源站有请求但返回慢，则要查源站处理时间与边缘超时阈值的关系。这个判断直接决定下一步是改边缘超时配置还是查源站性能。
保留、改写还是退出：三种动作的适用前提
面对边缘节点异常，常见做法有三种：保留现状继续观察、改写边缘规则、退出该边缘节点。它们不是互相替代的万能选项，适用条件不同。
保留现状继续观察
适用前提：异常是间歇性的，且边缘侧有足够细粒度的日志能区分节点。比如只有某个边缘节点在特定时段返回5xx，其他节点正常。此时保留证据并观察一个完整周期，比立即改配置更稳妥。代价是异常期间百度蜘蛛可能持续遇到失败，如果持续时间长，抓取频率可能下降。这里的“抓取频率下降”只能作为现象记录，不能单独证明是边缘异常导致，也可能是百度蜘蛛自身调度变化。
改写边缘规则
适用前提：证据指向边缘缓存规则、回源超时或UA识别规则误伤百度蜘蛛。例如边缘把百度蜘蛛UA当成异常流量拦截，或缓存了错误响应。改写动作可以是调整回源超时、放行百度蜘蛛UA、或对特定URL绕过缓存。执行后要保留改写前后的响应头对比，观察边缘返回码是否恢复。如果改写后源站日志开始出现对应请求，说明回源链路恢复；如果仍无请求，则要查边缘到源站的网络策略。
退出该边缘节点
适用前提：该节点持续异常且无法在短时间内修复，同时业务能承受切换节点的成本。退出前要保留该节点异常期间的完整证据，包括时间线、响应码分布和源站日志对照。退出动作本身会影响后续流量路径，所以退出后要重新采集一组边缘响应头，确认百度蜘蛛请求落到其他节点时返回正常。如果退出后异常消失，只能说明该节点与异常相关，不能直接推断所有边缘节点都有问题。
证据保留的粒度：日志、响应头和请求样本怎么配
只保留源站日志不够，因为源站正常时它无法解释边缘异常。只保留边缘监控截图也不够，因为截图难以复查具体URL和请求头。建议按以下粒度保留：
- 边缘响应头：至少包含状态码、日期、内容类型和节点相关字段。如果边缘平台不暴露节点标识，就记录请求时间和客户端IP，用时间窗口与源站日志对齐。
- 源站访问日志：筛出百度蜘蛛UA和已知IP段的记录，保留原始行，不要只保留统计数。统计数归零可能只是因为日志轮转或采样，不能单独证明百度蜘蛛没来。
- 请求样本：选一个稳定可访问的URL，记录请求方法、完整URL、请求时间和响应码。假设某URL在边缘返回503，但源站日志同一分钟没有该请求，这个样本就能把排查方向引向回源链路。
- 变更记录：如果期间调整过边缘规则、防火墙或DNS，记录变更时间和内容。没有变更记录，后续很难判断异常是自愈还是被修复。
这些材料不需要实时监控级别，但必须能复查。保留周期建议覆盖一个完整的抓取波动周期，避免只留几分钟的片段。
一个假设例子：边缘回源超时与源站正常的对照
假设某站点源站日志显示百度蜘蛛请求均返回200，但边缘监控显示同一时段5xx比例上升。运营者保留了三样东西：边缘返回给百度蜘蛛的503响应头、源站日志中对应URL的请求记录、以及边缘回源失败日志。对照后发现，源站日志里没有该URL的请求记录，边缘回源日志显示连接源站超时。此时合理动作是检查边缘到源站的网络策略和超时阈值，而不是改robots.txt。如果改完超时阈值后，边缘返回码恢复200且源站日志出现对应请求，说明回源链路恢复；如果源站日志仍无请求，则要继续查边缘节点到源站的网络路径。
这个例子的关键不是数字，而是对照方法：用源站日志有无对应请求，来区分“请求没到源站”和“请求到了但源站处理慢”。
不要把这些现象当成唯一结论
边缘异常期间，百度蜘蛛抓取量下降、源站日志中蜘蛛请求减少，都可能有其他解释：百度蜘蛛自身调度调整、站点整体抓取配额变化、日志采样或轮转。这些现象不能单独证明边缘节点就是原因，也不能证明某个修复动作一定有效。保留证据的意义在于让判断可复查，而不是用单一指标下结论。
另外，robots.txt的抓取限制不等于可靠的索引移除，站点地图不保证收录，HTTPS也不保证安全无漏洞或排名。这些约束在边缘异常场景下同样适用：不要因为边缘返回异常就顺手改robots.txt或删站点地图，那会把一个链路问题变成更难回滚的索引问题。
最终取舍取决于证据指向：如果证据显示边缘节点持续异常且无法快速修复，退出该节点并保留对照记录是合理动作；如果证据只显示间歇性超时且源站日志正常，先保留证据、调整回源超时并观察，比直接退出更可控。无论选哪种，都要在动作后重新采集一组边缘响应头和源站日志，确认百度蜘蛛请求的实际返回状态，再决定下一步。
