网站采集器教程：老师只给结论时怎样自行补充反例练习
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /299107fd3563.html
📄
网站采集器教程：老师只给结论时怎样自行补充反例练习
老师给出一句“这条规则能匹配列表页”就结束，你真正缺的是一个能推翻它的反例。做法不是再找一份教程，而是把手中那份采集规则当成假设，主动构造三类输入去攻击它：结构相同但语义不同的页面、结构不同但语义相同的页面、以及边界值页面。下面以你手头任意一个已写好的采集配置为对象，逐步把它变成一套可执行的反例练习方案。
先把结论改写成可被推翻的假设
“能匹配列表页”这种表述无法验证，因为它没有说明匹配依据。你要把它改写成带条件的句子，例如：“该规则依赖列表项都位于同一个父容器下，且每个条目的链接位于固定层级。”改写后，反例的目标就清楚了：找一个父容器被打散、或链接层级发生变化的页面。
具体动作：打开你已有的采集配置，把每条选择器或正则旁边写一行“它默认了什么”。常见默认包括：列表项顺序固定、字段不缺失、分页参数为数字、编码为 UTF-8。写不出默认条件的规则，通常说明你还没理解它为什么生效，这类规则应优先做反例练习。
构造三类反例，而不是随机换页面
随机找十个网页测试，只能告诉你“有时失败”，不能告诉你失败原因。按下面三类各构造一两个样本，才能定位规则的脆弱点。
- 同构异义：复制一个能正常采集的页面结构，只替换文字内容，比如把商品名换成带括号、带换行、带全角空格的文本。如果采集结果出现截断或串位，说明规则对文本形态有隐含假设。
- 同义异构：手工调整页面，让列表项从
<ul><li>改成<div>平铺，或把链接从直接子节点移到更深一层。如果规则失效，说明它绑定的是结构而非语义。 - 边界值：把某个字段置空、把分页参数写成 0 或超出末页、把标题长度压到一个字符。边界反例最容易暴露空值处理和循环终止条件的问题。
这三类样本不需要真实网站，本地保存的 HTML 文件即可。动作要点是：每次只改一个变量，改完立刻运行采集，记录输出差异。若一次改多个变量，失败后无法判断是哪个条件被触发。
用失败位置反推遗漏条件
反例跑失败后，不要马上改规则。先看失败发生在哪一步：是请求阶段拿不到内容，是解析阶段选择器为空，还是清洗阶段字段被误删。三种位置对应不同的遗漏条件。
假设一个短例子：你有一条规则用 <div class="item"> 抓取条目，本地反例把其中一个条目改成 <div class="item featured">。如果采集结果少了这一条，说明规则默认 class 完全相等，遗漏条件是“class 可能包含附加词”。此时下一步动作不是立刻改成模糊匹配，而是再构造一个 class="itemized" 的反例，确认模糊匹配会不会误抓。只有当前一个反例被修复、后一个反例仍能通过，修改才算收敛。
这个顺序很重要：先证明遗漏条件存在，再证明修复方案不会引入新的误匹配。跳过第二步，你只是把一个漏洞换成了另一个。
把反例沉淀成可复用的检查集
反例练习的价值不在单次通过，而在于下次改规则时能快速回归。把每个反例存成独立文件，文件名写明它攻击的条件，例如 class-extra-word.html、empty-title.html、page-zero.html。再写一个简单脚本依次运行全部反例，输出通过或失败。
判断标准要提前定好：不是“不报错”就算通过，而是字段数量、字段内容、字段顺序都与预期一致。如果你只检查是否抓到数据，空值和串位这类问题会长期潜伏。每次修改采集配置后跑一遍这套检查集，失败项就是这次改动影响到的条件，下一步只需针对失败项继续构造更细的反例。
什么时候该停止补反例
反例练习不是越多越好。当新增反例不再产生新的失败类型，只是重复验证同一条件时，可以停止。另一个停止信号是：你开始为反例编造现实中不太可能出现的页面结构，比如同时缺失所有字段又要求正常输出。这类反例对判断规则是否稳健帮助有限。
更实际的取舍是：优先覆盖你实际采集目标中可能出现的结构变体，其次覆盖边界值，最后才考虑极端组合。如果时间有限，先做同义异构这一类，因为它最常导致规则在目标站点改版后整体失效。
