当网站关键词优化软件的输入对象从整页URL换成API返回的JSON时,不能只把新格式丢进原来的字段。正确的做法是:先判断是“结构变了但语义没变”,还是“语义也变了”。前者可以保留原有规范,只改提取路径;后者必须重建字段定义、去重规则和失败判定,否则工具会安静地输出看起来正常、实际不可用的结果。
把输入从网页换成API后,很多人会发现抓取失败率下降、字段更整齐,但关键词相关结果反而变少或变得奇怪。这通常不是工具退步,而是旧规范仍然按网页假设在工作。
网页输入天然带有噪声:导航、页脚、推荐位、重复模板。旧规范里的过滤规则、去重规则、字段映射,都是围绕这些噪声设计的。API输出把这些噪声去掉了,但字段名、嵌套层级、空值表达也一起变了。旧规范继续运行,就会把新结构里的有效内容当成噪声过滤掉。
如果API返回的仍然是同一批内容,只是从HTML文本变成了JSON字段,那么问题出在提取路径。例如原来用页面标题和正文文本作为输入,现在变成title和body两个字段。此时旧规范的核心逻辑可以保留,只需要改字段映射和路径。
判断依据是:同一批样本在两种输入下,人工核对后应得到相同的关键词候选集合。如果集合一致,只是格式不同,就属于这一类。
如果API返回的不再是文章正文,而是商品属性、评论摘要或结构化标签,那么“关键词”的含义已经变了。旧规范里针对正文长度的阈值、段落切分方式、停用词表,全部不再适用。
判断依据是:同一批样本在两种输入下,人工核对后得到的候选集合明显不同,且差异无法用格式转换解释。这时继续沿用旧规范,只会得到无关结果。
最直接的动作是:取一小批同时有网页版和API版的样本,分别用旧规范和新格式输入跑一遍,把两边输出的候选词并排对照。不要只看数量,要看交集和差集。
这个对照动作的结果会直接决定下一步:交集高就做小修,交集低就停下来重新定义输入对象,不要急着调工具参数。
旧规范里与语义无关的部分通常可以保留,例如字符编码处理、大小写归一、基础停用词表。这些不依赖输入是网页还是API。真正需要重写的是字段映射、空值处理、去重键和失败判定。
一个常见错误是连同去重键一起沿用。网页输入常用URL去重,API输入可能没有稳定URL,只有ID或时间戳。继续用URL去重,会导致同一对象被重复处理或全部被合并。
假设某工具原来输入网页正文,现在改成输入商品API返回的JSON,字段包括sku、name、tags。旧规范按段落切分正文,新输入没有段落。此时应把切分单位从段落改为字段,把去重键从URL改为sku,并把tags单独处理,而不是混入name一起分词。这个假设只用于说明比较方法,不代表任何具体工具的实际行为。
改完规范后,不要直接全量跑。先用同一批对照样本重跑一次,确认新输出与人工判断一致。然后检查失败记录:如果失败集中在某个字段为空或格式异常,说明规范还需要补边界条件;如果失败分散且无规律,可能是输入源本身不稳定。
只有对照样本通过后,才值得扩大范围。扩大范围时保留旧规范的输出作为参照,便于发现新规范引入的系统性偏差。具体工具是否支持并行对照、是否保留历史版本,需要按你实际使用的软件核对,不要假设所有工具都有相同能力。