落地页A/B测试,一个人也能跑

我想知道首页那张大图到底有没有用。挂了两个版本跑了一周,结论是:大图删掉之后,该点按钮的人还是点,但页面加载快了。 一个人做落地页A/B测试,就这么简单,不需要什么工具平台。

下面是我实际在用的流程,从改什么到怎么看结果。

一个人怎么做落地页A/B测试:先看清前提

先泼一盆冷水。流量太小的时候,A/B测试是浪费时间的。 我那个简笔画画板每天自然搜索进量也就是「几十人」,这个量级下,两个版本各分几十个人,出来的差异基本是噪声。

所以判断标准是:如果一周内每个版本分不到足够的样本,就别测,直接按常识改。 常识能解决八成的落地页问题——按钮够不够大、首屏有没有说清你是干什么的、手机上好点不好点。

只有当你已经有一批稳定流量、并且某个改动你不确定方向时,才值得上 A/B。

第一步:先列出要测的那一个变量

一次只测一个东西。 我见过有人同时改标题、改配图、改按钮颜色,然后问我为什么看不懂结果。三个变量一起动,你测出来的是三个变量的合力,不是任何一个的功劳。

我自己的候选清单一般就这几条:首屏大图有没有、标题是第一人称还是第二人称、按钮文案、价格展示的位置。

从里面挑一个,其余全部冻结。 冻结这件事比测试本身更重要。

第二步:怎么分流量

一个人做,不要上复杂的实验平台。两个页面路径,随机或交替把人分过去,就够了。

如果你用的是静态站,最省事的做法是两个 HTML 文件,用一个极简的跳转逻辑分流。关键是分流必须随机,不能按时间分——按时间分的话,白天和晚上来的是两批完全不同的人,你测出来的是人群差异。

还有一个坑:别按设备分。 手机用户和电脑用户的行为差得很远,混在一起看会把信号淹没。

第三步:定死一个指标

只认一个指标,其他都当参考。 落地页的指标通常就是「有没有完成那一个动作」——留资、加联系方式、下单,选一个。

不要看停留时长。停留时长变长可能是好事,也可能是用户找不到东西。它不指向任何明确的结论。

第四步:跑满一个周期再看

至少跑满一个完整的周。 工作日和周末的人不一样,跑两天就下结论,等于把周末的数据拿去解释工作日的现象。

跑完对比那个单一指标。差异不明显的话,就当没测过,把改动撤掉。大部分 A/B 测试的结果是「没区别」,这不是失败,这是省下了一次瞎改。

我踩过的三个坑

坑一:以为越改越好。 改版把转化搞掉的情况很常见,具体可以看落地页改版后转化掉了,我踩的3个坑。

坑二:把「加载快」当成赢了。 加载快是好事,但如果转化没动,那这次改动的收益就是零,别自己给自己发奖。

坑三:测完不改回去。 测出来没用的版本要撤。留着两套代码,后面维护会找上你。

一个人做落地页A/B测试,核心不是工具,是纪律:一次一个变量、一个指标、跑满一周。 流量不够的时候,别测,直接改。

常见问题

Q:一个人怎么做落地页A/B测试,需要什么工具?

A:不需要专门工具。两个页面路径加一个随机分流就够了,静态站用两个 HTML 文件也能做。关键是分流随机,不能按时间段分。

Q:流量很小的时候做A/B测试有意义吗?

A:没有。我那类页面每天自然进量只有几十人,分到两个版本后样本太小,差异都是噪声。这种情况直接按常识改更快。

Q:A/B测试要跑多久才能下结论?

A:至少跑满一个完整的周。工作日和周末来的人不一样,跑两天等于拿周末的数据解释工作日的现象。

相关阅读


本文作者西米,37 岁程序员,一个人加五个 AI 员工在跑一家公司。踩过的坑和真实账本都写在公众号「西米分享」。

完整代码、踩坑清单与最新进展,都在公众号。

📱 关注公众号「西米分享」