用数据做决策：实验、复盘与迭代优先级

你想把首页Try now改成Try the packing-list example，该直接改，还是做A/B实验？本篇为这个小改动完成一份能保存的实验草稿和一次结果解读，不会启动真实流量实验。

先给结论：若每天只有几位访客，先完成读者走读、修掉明显困惑；流量与事件足够后，才值得用随机实验测量比例变化。这里两种路径都给出完成例，你按自己的起点做一条即可。

把一次改动写到足够小

复制这份草案：

实验名：ClearCopy示例入口说明
假设：把按钮写成具体任务，让新访客更愿意打开行李清单样例
对照A：Try now
版本B：Try the packing-list example
其他内容：标题、示例报告、价格与输入保持相同
参与者：首次符合条件访问首页的真实访客，排除内部测试
分组：按人稳定分配，A/B各50%，回访不随意换组
主要指标：首次展示后24小时内打开示例的人数比例
辅助观察：24小时内查看完整报告；输入提交错误；页面加载情况
结束安排：启动前按基线与希望识别的差异估计样本及时间

本例只改按钮文字。如果同时改价格、页头视频和流量来源，结果无法帮助你理解这句话的作用。开始前还要决定怎样记录“看见了这个版本”，不能把根本没有加载到按钮的人都当成已经看到新版。

在PostHog中保存草稿

已有PostHog项目和可用事件时，打开创建实验说明。配图展示三步向导：描述、版本分配、分析指标。按本篇填入以下值：

1. 进入 Experiments，选择 New experiment，名称填ClearCopy sample button，假设用草案中的一句话。
2. 在版本中保留两个组，分别对应短按钮与具体任务按钮，检查分配比例。
3. 选择能够代表真正展示的暴露条件，以及example_opened对应的主要指标，排除测试账户。
4. 选择 Save as draft。这一步的完成标志是草稿已保存，不是实验已启动。

接入代码后，还要在测试账户中检查同一身份回访保持同版本、事件包含正确组别、报告样例没有被顺带改变。没有可验证事件时先不运行，完成下面的纸面计算也能学会读结果。

PostHog实验概览说明它会处理随机分配与统计分析。工具能计算并不意味着你可以省掉清楚的任务与指标定义。

对着完整数字读一次结果

假设在提前安排的观察结束后，A组600位独立访客中60位打开示例，B组600位中72位打开。两组均已观察满24小时，内部测试已剔除；这是教学数据。

A：60 / 600 = 10%
B：72 / 600 = 12%
绝对差：12% - 10% = 2个百分点
相对变化：(12% - 10%) / 10% = 20%

你可以写“样本里B比A高2个百分点”，不能把它改成“增加20个百分点”。也不能仅凭72大于60就保证未来提升20%。还需结合实验方法的区间或不确定性、事先设定的样本、分流是否正常，以及是否有负面影响。

用常见独立比例的粗略正态估计看数量级，差值标准误约1.81个百分点，95%近似区间约为负1.54至正5.54个百分点。这里的近似手算用于理解样本波动，不替代所选平台具体统计方法；这个范围包括0，提醒你不要把点估计当成确定结果。

现在故意只保留A组10人1次打开、B组10人2次打开。比例看似翻倍，但只差一个人。你会更容易看出低流量时“每天看谁领先就停止”的问题。

流量不够，就完成这次走读

准备两张只有按钮不同的首页稿，让愿意试读的开发者分别查看；先不告诉他哪张是新版。让他用一句话说“点完会出现什么”，再点击寻找样例输入。

下面是一条合成观察的完成示范，不代表实际受访者：

观察	原按钮稿	具体按钮稿
预期结果	以为马上要注册	预期看行李清单示例
是否找到样例	需要作者解释	沿链接到达示例
可以做的修改	把示例说清楚	保留具体任务表述，继续检查手机布局

走读可以暴露明显误解，但人数很少时不要把“2人都看懂”包装成普遍提升率。你可以据清晰度改稿，再在后续流量中观察是否出现新的问题。

把实验结果变成一个开发决定

PostHog漏斗说明能进一步查看打开示例的人是否读到完整报告。若B只是提高了点击，后续报告查看却变差，就检查按钮是否让人期待错误的内容；不能只挑点击这一项宣布成功。

如果将数据导到仓库分析，按GA BigQuery导出结构区分用户、事件和重复参数，等待延迟数据回补后再定稿，避免今天的不完整数据和昨天完整数据直接比较。

本次可以保存这样的结论：“具体按钮更清楚；模拟实验的点估计高2个百分点，但不确定性仍大，未证明稳定提升。先完成手机布局和输入走读，实验保留草稿。”一份能够解释为何暂不扩大实验的记录，同样是一项有效决策。