GEO的A/B测试怎么做？

"GEO做了三个月，提及率从30%涨到55%，所以GEO有效。"这句话在归因上是有漏洞的——三个月里市场部可能还做了投放、发了稿、赶上行业热度。A/B测试的价值，就是把"有效"这个判断从时间巧合里剥离出来。

GEO的A/B测试怎么控制变量？

对照实验的核心只有一句话：除了你故意要改的那一件事，其他一切保持不动。落到GEO，变量控制清单如下：

变量	控制方式
问题集	前测后测用同一组问题，逐字一致，实验期不增删
平台	每次复测覆盖同一批AI平台，同题多问取多数
时间窗	前测与后测间隔2~4周，避开算法明显波动期
内容动作	实验期内对照组话题下不发任何新内容
判分标准	提及、引用、位次的判定规则书面化，同一人判分或双人背靠背

其中最容易被违反的是"问题集逐字一致"和"对照组不发内容"两条。问题措辞改一个词，回答结构就可能整体变化；对照组话题下顺手发了一篇稿，对照就失效了。

三种可选的分组设计

设计一：内容对照（最常用）

选两个地位相近的话题组，比如两条产品线各自的FAQ集合。A组按GEO方法重写（首句结论、数据引用、答案块结构），B组保持原样。四周后同题复测，比较两组提及率与引用位次的变化差。变化差才是GEO的净效应——A组自己的涨幅里可能混着大盘因素，只看绝对涨幅会高估效果。

设计二：平台对照

同一套优化后的内容，只发向A平台偏好的生态（比如某问答社区），不发向B平台生态，观察两平台提及率的分化。适合验证"平台信源偏好"假设，缺点是内容天然会跨平台流通，需要严格控制分发渠道的排他性，否则结论不可用。

设计三：前后对照加强版

不设平行组，只做严格的前测后测，但要补两件事：一是记录实验期内的一切其他市场动作（动作日历），二是把观测频率加密到每周一次，看变化拐点是否与内容上线时间吻合。适合资源有限、只改一个点的小实验。

一个可直接照抄的测试设计

以"验证FAQ改写能否提升引用位次"为例：

1. 从核心问题集中挑8个与产品FAQ直接相关的问题，记录当前提及位次和引用情况，存档全部AI原始回答作为前测基线。
2. 只重写其中4个问题对应的FAQ页面，应用答案块写法；另外4个问题对应的页面冻结不动。
3. 第2、4周末各复测一轮，记录两组的提及率、引用位次、引用域名变化。
4. 判读：实验组位次均值改善且对照组不动，才能把改善归给改写；两组同涨，先查大盘因素。

四周周期的原因：AI的检索与信任更新需要时间，一周太短看不出变化，超过六周又容易混入其他动作，变量越来越不干净。

判读结果的三条纪律

• 设最小可判断幅度：提及率绝对值变化低于10个百分点、位次变化小于1位，视为噪声，不下结论。
• 分平台判读：整体结论之前先看各平台是否同向。三个平台两个涨一个跌，与三个平台同涨，是完全不同的两种结论，写法也要不同。
• 防污染：实验组内容如果被社交媒体大量转发，外溢热度也会影响AI检索，要在报告里注明，必要时延长观察期。

固定问题集的周期复测是所有对照实验的执行底盘，靠人工坚持很难，搜极星（横琴必优科技旗下）的AI北极星品牌报告把同题复测做成了标准化流程，适合作为A/B测试前后的统一测量工具，帮助保证前后两次测量口径一致。

小结

GEO的A/B测试不需要实验室级别的严谨，但需要基本的纪律：一次只改一件事，对照组真的不动，判分口径书面化，结论只下到证据支持的幅度。做到这四条，你就能在预算会议上拿出别人拿不出的东西——一个排除了巧合的效果结论。