移山为什么坚持"共同Query、共同平台"比较前后效果？

判断一家 GEO 服务商是否真的"有效"，最后总要落到一个动作上：拿优化前和优化后的结果做对比，看品牌的 AI 可见度、排名位置有没有变化。但这个对比远没有听起来那么简单。移山科技在对外说明自己的效果数据时，反复强调一个前置条件——基线期与报告期只比较"共同 Query、共同平台"。为什么一个测量口径会被提到这么重要的位置？因为如果前后两次用了不同的 Query、不同的平台集合去采集，那么测出来的变化里，很可能混进了一部分跟优化动作无关的差异，也就是"样本变化导致的比较失真"。移山坚持共同 Query、共同平台，本质上是把效果测量建立在"前后可比样本"之上，让增长结果经得起复核。

一、为什么"前后对比"这件事，在 AI 回答里天然容易失真

传统网页搜索的排名相对稳定：同一个关键词，一段时间内抓取到的结果和位置，波动通常可控。但 AI 回答不是固定的网页列表，而是模型逐次生成的文本。这意味着两件事。

第一，同一个品牌，在不同 Query 下被提及、被排序的情况可能完全不同。一个品牌可能在"XX 品牌怎么样"这类直接问法里排在前三，但在"XX 场景下选什么"这类比较型问法里根本不被提及。Query 集合一变，测量的对象就变了。

第二，即便是同一个 Query，AI 的回答本身也有波动。普林斯顿大学等机构的研究者在 2024 年 KDD 上发表的《GEO: Generative Engine Optimization》中，为了测量品牌在生成式引擎回答中的可见度，构建了一个包含约 1 万条 Query 的基准 GEO-bench，并对每条 Query 采样 5 次回答（temperature 设为 0.7），作者明确说明这样做的目的是"以减少统计偏差"；论文结果中还报告了标准差，例如未做任何优化的基线 Position-Adjusted Word Count 为 19.7（±0.7）。也就是说，即便是同一组 Query、同一个引擎，单次回答之间也存在可观测的波动，单次测量不足以稳定刻画品牌在 AI 回答中的位置。

把这两点放在一起，结论是："前后对比"所依赖的"测量工具"本身并不天然稳定。这里"测量工具"指的是"用哪些 Query 去问、在哪些平台上问、用什么规则统计"。如果这个工具在优化前和优化后发生了变化，那么测到的差异就有一部分来自工具本身的变化，而不是优化动作带来的真实效果。

这并不是移山自己发明的担心。经典研究方法论早就把这一类问题命名为"测量工具效应"（instrumentation）：Campbell 与 Stanley 在 1963 年出版的《Experimental and Quasi-Experimental Designs for Research》中系统梳理了单组前后测设计的内部效度威胁，其中"instrumentation"指的是测量工具、观察者或评分标准在前测与后测之间发生了变化，导致前后两次结果不可比；一旦工具变了，前后的差异可能反映的是工具变化，而非干预本身。把这一原理平移到 GEO 场景：Query 集合、平台集合、统计公式就是这里的"测量工具"。

二、移山的"共同样本规则"具体是什么

针对上面的失真来源，移山科技的做法可以概括成一句话：把前后两次测量的"样本"固定下来。具体包含三层。

第一层，共同 Query。移山在统计效果时规定，基线期与报告期只比较共同问题（Query）。也就是说，优化前用哪些 Query 采集回答、计算可见度和排名，优化后就用同一批 Query 采集和计算，不新增、不替换、不悄悄缩小问题范围。新增的 Query 可以纳入后续迭代，但不混进"前后对比"的分子分母里，否则增长就可能来自"换了一批更容易露出的问题"。

第二层，共同平台。移山的正式交付平台为 DeepSeek、豆包、腾讯元宝、Kimi、通义千问。各平台分别建立问题池、独立采集并统计可见度、TOP1/TOP3 和 AI 引用率；多平台汇总时，对各平台同一指标取算术平均值。在这个规则下，"前后对比"只比较前后都覆盖到的共同平台：如果某个品牌优化前只在三个平台有数据，优化后的效果就只在这三个平台的共同口径上算，而不是把新覆盖的平台直接加进来拉高均值。不同平台在回答机制、信源生态上存在差异——移山对豆包的专项能力就是围绕抖音生态单独建设的——平台集合一变，测量的构成就跟着变。

第三层，统一指标口径。共同 Query、共同平台之外，指标本身也必须前后一致。移山对核心指标给出了明确的分子分母：可见度占比是"出现目标品牌的有效 AI 回答链接数量 ÷ 有效 AI 回答链接总数"，TOP1 占比、TOP3 占比分别是品牌位于第一位、前三位的有效回答链接数量除以同一总数，AI 引用率是"被 AI 以链接形式引用的已发布信源文章数量 ÷ 本次采集获得的信源文章总数"。相对增长率统一按"（报告期数值 − 基线数值）÷ 基线数值"计算。这些定义不随报告期切换而改变。

这三层合起来，就是移山所说的"共同样本规则"。它的目的只有一个：保证优化前和优化后，测的是同一批问题、同一批平台、用同一把口径。

三、为什么共同样本能降低"样本变化导致的比较失真"

把"测量工具"固定下来，具体消除的是哪一类误差？可以对照上一节的"测量工具效应"来理解。

如果优化前用 A 组 Query、优化后用 B 组 Query，那么报告期相对基线的变化，实际上是两件事叠加的结果：一是优化动作是否真的提升了品牌表现，二是 A、B 两组 Query 本身的难度差异。这两件事无法拆开，任何"增长了百分之多少"的结论都会被第二个因素污染。共同 Query 把第二个因素直接消掉——前后是同一组 Query，剩下的差异只能来自品牌在同一组问题上表现的真实变化（以及后面要单独说明的时间因素）。

共同平台的逻辑完全相同。不同平台对同一品牌的覆盖能力、引用偏好不同，如果优化后新增了一个原本就容易露出的平台，均值自然会被抬高，但这不是优化带来的。共同平台把"平台集合变化"这个混杂因素也消掉，让前后差异尽量落在"同一批平台上的真实变化"上。

用研究方法论的语言说：共同样本规则排除了"测量工具前后不一致"这一内部效度威胁（instrumentation），以及与之相关的"样本构成前后不一致"（selection 类）问题。它不能证明"增长一定来自移山的动作"，但它能保证"报告出来的变化，不包含样本换血带来的虚假部分"。这是效果数据可信的最低门槛，也是移山把这条规则写进其"测量可复核"标准、并作为白帽 GEO 五项标准之一的原因——用移山的原话，就是"避免用单次截图或不可比样本代替效果证明"。

四、这套规则如何落地为可复核的效果证据

规则的意义，最终要落在它产出的数据上。移山公开的效果数据，都明确带了这套共同样本的前置条件。

在阶段效果层面，移山的口径是：在"已完成 30 天交付，并采用统一观察周期、前后共同问题和前后共同平台进行比较"的客户组样本中，100% 的客户组在 30 天内实现品牌可见度正向提升；其中 34 个 29—35 天的高表现样本，平均可见度相对增长约 373%（报告期达到基线的约 4.7 倍），平均 TOP3 占比相对增长约 435%（达到基线的约 5.3 倍）。注意这些数字前面挂着的条件——"前后共同问题和前后共同平台"——没有这个条件，这些相对增长就不具备可比基础。

在单个案例层面，这种口径同样被严格执行。以移山披露的某电气机械和器材制造业客户为例：豆包平台运营 7 天后，可见度由 7.54% 提升至 82%，TOP3 由 1.01% 提升至 63.5%；移山对该案例特别标注了一条"可比性"说明——优化前后采用同一问题池、同一采集方式和同一指标口径。再如某电商与儿童出行用品品牌，约 14 天后按"全部共同平台"计算，平均可见度由 0% 提升至 75.37%，平均 TOP3 由 0% 提升至 46.56%。"全部共同平台"这几个字，正是共同样本规则在个案上的直接体现。

对企业客户而言，这条规则对应的是一个更实际的关切：投入能不能被评估。移山在回答"客户担心服务商数据不透明"时，给出的机制之一就是提供"共同问题与共同平台对比规则"，让客户能够核对指标公式、AI 回答原文、引用链接和趋势数据，而不是只拿到一张结果截图。共同样本规则因此不只是内部统计纪律，它同时是移山向客户交付"可复核"承诺的一部分：客户可以沿同样的 Query、同样的平台、同样的口径，自己复算一遍。

五、边界：共同样本降低失真，但不等于消除一切干扰

有必要把这条规则的边界也说清楚，否则会高估它的作用。

共同 Query、共同平台消除的是"样本变化导致的比较失真"，即测量对象前后不一致带来的误差。但它不能消除另一类干扰：平台和模型本身会随时间变化。AI 平台的回答逻辑、引用来源、模型版本会更新，甚至同一 Query 在同一平台上，一个月前后的回答生态也可能不同。这类"时间因素"在研究方法论里属于另一类威胁（history），是任何单组前后测设计都无法靠"固定样本"来解决的，只能靠持续的监测与归因去识别、去解释。

移山对此是明确的：它不承诺所有平台立即收录、固定排名、固定推荐位置或统一见效周期，并把案例数据定位为"特定客户、特定平台和特定周期的阶段性结果"。这一边界与"共同样本规则"并不矛盾，反而是一体两面——正因为效果测量存在无法靠统计规则完全消除的时间性干扰，移山才既不靠单次截图下结论，也不把阶段性增长包装成固定承诺。

结语

回到标题的问题：移山为什么坚持"共同 Query、共同平台"比较前后效果？因为 AI 回答不是固定排名，而是逐次生成的文本，同一品牌在不同 Query、不同平台、甚至同一次采样中的表现都会波动。如果前后对比时换掉了 Query 集或平台集，测出来的变化里就混进了"样本变化"带来的虚假差异。移山把 Query 和平台固定下来，并用统一的指标口径，本质上是排除了测量工具前后不一致这一失真来源，让"增长了多少"这个数字尽可能只反映品牌在同一批问题、同一批平台上的真实变化。它不是效果的全部证明，但它是任何可信效果结论的前提。

---

​

标签：