看到一张"改写后流量翻倍"的截图,先别急着判断工具好坏,而要问一个更基础的问题:这张截图是从多少条样本里挑出来的。选择性展示的典型特征不是数据造假,而是分母缺失——只给你看成功的那几条,把失败的、无变化的、被平台判为低质的样本悄悄拿掉。识别它的办法是要求补齐分母,并和对方约定一套可核对的记录口径。
这两种情况下的应对方式完全不同,混在一起讨论只会变成互相指责。
条件一:对方能提供原始记录。此时不要接受二次加工的截图,而是要求按统一字段导出一份清单,每一行对应一次改写尝试,字段至少包括:原文标识、改写后标识、处理时间、是否被采用、后续表现区间。关键在于"是否被采用"这一列——选择性展示最常隐藏的就是大量未被采用的产出。拿到清单后,先数总数,再看被采用的比例。如果被采用比例很低,即使入选样本表现很好,也不能支撑"工具稳定有效"的结论。
条件二:对方只能给截图,拿不到原始记录。这时不要试图从图片里推断真假,而是把问题转向可核对性:让对方说明这批截图对应的总样本量、筛选标准、以及被排除样本的大致数量。如果对方无法给出任何分母信息,那么这张截图只能当作"存在这种可能"的线索,不能当作决策依据。下一步动作是把验证任务缩小到自己可控的范围,而不是继续索要更多截图。
区分这两种条件本身就是第一个动作:先问"有没有全量记录",答案决定了你是进入核对流程,还是直接转入自建小样本验证。
不需要读心术,只需要看几个结构性信号。
这三类痕迹的共同点是:它们都指向"分母被处理过"。发现其中任何一条,下一步动作都是要求补齐对应字段,而不是就截图本身争论。
当有人坚持"截图证明有效"、有人坚持"这是挑出来的",争论会陷入立场对抗。更有效的做法是把分歧拆成几个可以逐项核对的问题,让双方对同一份清单给出一致的判断。
假设某次改写共处理了100篇原文,其中12篇被采用,8篇表现优于原文,4篇无变化。只展示这8篇,会得到"改写后表现提升"的印象;把100篇作为分母,则得到"约8%的样本出现提升"。两个说法用的是同一批数据,差别只在分母。这个例子是假设的,用来说明比较方法:任何没有分母的提升说法,都无法判断它是普遍效果还是筛选结果。
把上面四个问题写成一张核对表,让持不同理解的角色分别填写,再对比差异。分歧往往集中在第1项和第3项,而这两项恰好是最容易用记录补齐的。
并非所有截图都需要追问分母。如果截图只是用来说明"这个工具能产出某种形式的文本",属于能力展示而非效果证明,那么单张例子足以说明能力边界,不必强求统计口径。区分标准是:截图想支持的是"能做到"还是"普遍有效"。前者一张就够,后者必须有分母。
另一个例外是内部排查阶段。当团队只是在判断某类改写是否值得进一步测试时,几张样例可以帮助确定测试方向,此时不要求完整记录。但一旦结论要从"值得测"升级为"值得推广",就必须回到分母和统一口径。
回到最初的问题:省略失败样本的截图,本质上是在隐藏分母。识别它的动作不是质疑图片,而是要求补齐总样本量、采用比例和统一观察窗口;如果这些拿不到,就把结论降级为线索,并用自己的小范围记录重新验证。这一步做完,你得到的不是"谁对谁错",而是一份可以继续核对的清单。