一个A/B测试的实际案例解读

GregoryJar

作者：Tomi Mester

编译：ronghuaiyang

导读

这是一个A/B测试的真实案例，看看大家能学到些什么。

今天，我想给大家介绍一下我最近在自己的博客 data36女性乳房         上进行的一项 A/B 测试。

在过去的几年里，Data36 博客发展缓慢但稳定。在我写这篇文章的时候(2019 年 11 月 11 日)，月流量远远超过 10 万独立访客。我很荣幸能受到来自世界各地这么多人的关注……

这也让我处于有利地位：

我终于可以在我的博客上运行一个足够大样本的 A/B 测试了！



在这篇文章中，我想分享我不久前在 data36女性乳房         上运行的一个引导页面 A/B 测试的结果，我发现它非常非常有趣。(它显示了一些不同于我最初预期的东西。）

我们来看看吧！
上下文

在向你展示引导页面 A/B 测试本身的细节之前，让我先给您介绍一下上下文。我有一个为期 6 周的在线数据科学课程，叫做初级数据科学家的第一个月。关于数据我还有一些产品，但这是我的首要任务。这是一个较长的课程(6 周)，非常全面，也相当贵(497 美元)。我做了很多工作，从 2017 年 11 月第一版开始，我就一直在优化它。



这是一种很贵而且非常全面的产品

在 2019 年初，我花了几周时间想办法为课程创建一个更好的引导页面。

我的意思是，那个时候我的原版还不错，但也不怎么样。它至少有几个问题。我知道这一点是湖北快3我和几乎所有的学生都进行了一对一的 Skype 会议。因此，我已经开始了这个优化项目，有一些重要的见解。

我知道所有的学生的问题，但是并没有在原始引导页面上做解答。我知道我的复制品会让学生们产生困扰。我知道学生们在实际购买之前的一些疑点。

但是我不确定我时不时应该在引导界面上解决这些问题。

我的迟疑有一个原因。原始的版本太长了：1500 个单词，需要花费 7~8 分钟来阅读。（放到视频里也有 5 分钟）在现在的网络世界中，人们不可能花这么多时间去看。至少我也不希望人们去这么做。
导致对引导页面做 A/B 测试的原因

我的疑点是，并没有很多的人希望读那么长的引导页面…但是那些真的想读的人，不管引导页面有多长，都会读的。

为了得到更多的证据，我看了下我的谷歌分析数据，这多少确认了我的想法。其中一个分析显示，最终购买了课程的用户在页面上平均花费了 18 分钟才决定注册这个课程。



好，人们是读我的引导页的。（更准确的说，真正的潜在客户是读的）。非常好！但是他们还需要其他的更多的信息吗？这是我不知道的。女性spa，我需要做一个 A/B 测试来试试看。
新版本

是时候创建我的“版本 B”并建立一个合适的实验了。

我写了新的，扩展版的引导页面。它变成了大约 4000 个字长(也就是大约 20 分钟的阅读时间)，我还添加了 4 个嵌入的视频(观看所有这些视频又需要 12 分钟)。总的来说：

我回答了学生提出的所有问题我解答了他们所有的疑问我把课程的一切都做得超级透明

但是新版本变得非常长。



新旧版本的长度。版本B需要4倍的时间才能完全读完

好了，我有 A 版本和 B 版本，最后一步是设置实际的 A/B 测试……当然，还要等待结果。
实验的特殊之处

顺便说一下，这是引导页 A/B 测试的细节：

我有两种变化：

版本 A：原 1500 字长页面，内嵌视频 1 个版本 B：新增 4000 字页面，4 个嵌入视频

我把访客平均分为两类：

版本 A 50%版本 B 50%

测试持续了 3 周。(我需要 3 周时间来收集足够的数据以获得统计学意义。拥有 10 万独立访客听起来不错，但事实上只有一小部分人会访问这个特定的引导页面。）由于我一年只开设 3 次课程，注册期只有 5 天，女性spa我不能以购买数量作为主要衡量标准。因此，我不得不寻找第二个最佳指标来评估这个实验：候补订阅名单的数量。(更准确地说，不是数字而是转化率 也就是一个百分比值 等待订阅列表。)我的目标是 99%的统计显著性和至少 50%的转换增长。

结果

三周后，我得到了结果。这让我大吃一惊。

版本 B 超长的引导页 赢了！

候补订阅名单的数量增加了 96%。换句话说：我的转化率翻了一番统计显著性为 99%

注 1：如果你也对具体的数字感兴趣，这里有：

>>版本 A ~ 3300 访客和 45 次转换

>>版本 B ~ 3300 访客 88 个转换

这是一个较小的样本量，但由于转换率的巨大差异，它河北快3具有 99%+统计显著性水平。

注 2：还有一点很重要，我随后跟进了引导页面 A/B 测试，并检查了我的实际主要度量，即购买数量。当我开始我的课程时，我看到这个数字也翻了一番。从而确认了测试结果。

没有任何虚伪的谦虚，我可以自豪地说：这是我在过去几年里进行的最成功的 A/B 测试之一。
收获

我从这个实验中学到了很多。

但我最重要的收获是，人们在购买一件昂贵的产品之前，确实会阅读 即使是 30 分钟。

请记住，这是一个为期 6 周的深度数据科学课程，费用为 497 美元。这对他们来说是一项巨大的投资，女性spa他们想收集尽可能多的信息。我能做的最好的事就是让他们有这样的机会。就算需要 4000 个单词和 4 个视频也没关系。使课程和它的价值超级透明，并帮助潜在客户做出正确的决定是非常非常重要的，比最终的引导页面的长度还重要！

这对我来说是一个伟大的发现。我觉得我以后的课程也可以用这个方法。

毕竟，我教的是数据科学，女性spa我可以预期，博客上最优秀、最聪明的读者在决定注册之前，会花时间“分析”我的产品和服务。
这个 A/B 的收获

但那只是我的收获。

你从这个 A/B 测试案例研究中得到的结论是非常不同的。

让我指出来，湖北快3它很重要，但可能第一次读的时候不是很直观。

这个 A/B 测试用例研究并没有表明较长的引导页比较短的引导页表现得更好。它表明对为我的受众来说他们表现得更好，只针对这个特定的产品类型和这个特定的价格类别。要弄清楚什么对你有用，你必须自己做研究，自己分析，自己做 A/B 测试。另外：你是否注意到 A/B 测试部分只是整个过程的最后一步？记住，最初的想法来自于我和选修这门课的学生交谈，并听取他们的意见。然后我也试着用实际数据来验证这个观点。当我做实验的时候，我构造了版本 B，我已经相当有信心它会表现得很好。登陆页 A/B 测试是最后的证明 但就其本身(没有最初的研究)将是毫无价值的。

英文原文：https://data36女性乳房        /landing-page-ab-test-case-study/