链接分析工具，试验没变化时怎样确认真的执行了
📱 CCBot/2.0 (https://commoncrawl.org/faq/)
🔗 /d5aafaea7a9d.html
📄
链接分析工具，试验没变化时怎样确认真的执行了
先别急着改模型或换指标。你要先回答一个更基础的问题：这条试验链路里，哪一步该产生可核对的痕迹，而它现在没有出现。链接分析工具的输出依赖抓取、解析、链接图构建和指标计算多个环节，任何一环静默失败，最终结果都会看起来“没变化”。确认实施是否真正发生，比解释结果更重要。
先分清两种“没变化”：真没变化还是没跑到
结果与直觉相反时，通常有两种解释，需要不同的检查路径。
- 假设A：试验确实执行了，但效果本身很小或方向相反。此时应检查样本量、对照选择和指标定义是否合理。特征是：输入数据有新批次、日志有对应记录、中间产物时间戳更新。
- 假设B：试验没有按预期执行，或只执行了一部分。此时应检查任务是否被跳过、参数是否被覆盖、数据源是否返回空。特征是：中间产物缺失、时间戳不变、记录数与上一轮完全一致。
区分这两者的依据是可核对的痕迹，而不是结果数值本身。结果数值只能告诉你“变了或没变”，不能告诉你变化来自哪里。
用实施痕迹而不是结果数值来验证
为试验设计一条可追溯的证据链，每一步都应有独立于最终指标的记录：
- 输入层：本轮使用的数据源清单、抓取或导入时间、记录条数。如果记录条数与上一轮完全相同且时间戳未更新，优先怀疑任务未触发。
- 中间层：解析后的链接边数、去重后节点数、异常链接比例。这一层能暴露解析规则是否生效。
- 输出层：指标文件或报告的生成时间、覆盖的链接范围。输出层变化但中间层不变，说明改动可能只影响了展示而非计算。
一个具体动作：把上一轮和本轮的中间层产物各取一份，比较节点数、边数和时间戳。如果三者都不变，先排查调度与参数传递；如果节点数变了但最终指标不变，再排查指标计算逻辑。这个动作的结果直接决定下一步是修管道还是改假设。
参数被覆盖是常见的静默失败
链接分析工具的参数往往分散在配置文件、命令行和默认值三层。试验改动只写进其中一层时，实际生效的可能是另一层。
可核对的做法是：在试验运行后，从日志或运行记录中读出实际生效的参数值，而不是你写入的值。例如你希望把链接深度限制改为3，但运行记录显示仍是默认值。此时结果“没变化”就得到了解释，与算法效果无关。
假设例子：某次试验把过滤规则从“仅站内”改为“站内加指定外部域”，预期外部链接占比上升。若运行记录显示过滤规则仍为“仅站内”，则占比不变是参数未生效，而非外部链接本身没有价值。这个判断只依赖运行记录，不需要额外数据推算。
把“没变化”拆成可证伪的检查项
与其反复重跑，不如先列出这次试验理应产生的最小可观察差异：
- 至少一条新链接被纳入或排除；
- 至少一个节点的入度或出度应改变；
- 至少一个中间文件的时间戳应更新。
如果这三项都没有出现，实施环节存在问题的可能性高于效果本身微弱。反过来，如果这些差异出现了但最终指标不变，才值得进一步讨论指标敏感度和样本范围。
例外情况需要单独说明：当试验只影响极少数链接，或数据源本身在本轮没有新增内容时，中间层差异可能确实为零。这时应确认数据源是否有更新，而不是直接判定任务失败。抓取量或记录数归零，也可能来自数据源暂停、权限变化或调度窗口错位，不能单独作为“处理正确”的证据。
什么时候该停止排查实施、转向解释结果
当输入、中间、输出三层都留下了符合预期的痕迹，且至少一项最小可观察差异已经出现，就可以停止实施核查，转入效果解释。此时需要关注的是：样本是否覆盖了受影响的链接范围、对照组是否可比、指标口径是否与改动目标一致。
如果三层痕迹齐全但结果仍与直觉相反，不要用“工具不准”草率收尾。更稳妥的下一步是缩小范围，只取受改动直接影响的那部分链接单独观察，用可核对的子集结果判断整体结论是否被稀释。这样做的结果会告诉你：是改动无效，还是改动有效但被更大的无关变化掩盖了。
