网站地图
A/B测试

A/B测试是一种新兴的网页优化方法,可以用于增加转化率注册率等网页指标。AB测试本质上是个分离式组间实验,以前进行AB测试的技术成本和资源成本相对较高,但现在一系列专业的可视化实验工具的出现,AB测试已越来越成为网站优化常用的方法。

A/B测试其实是一种“先验”的实验体系,属于预测型结论,与“后验”的归纳性结论差别巨大。A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论,并确信该结论在推广到全部流量可信。

A/B测试如同GitHub、Docker、APM一样在美国市场已经被各类企业逐渐采用,相信在中国也能被广大开发者所接纳,其测试范围也不仅仅局限于网页优化,目前移动端的A/B测试需要同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java),相对于Web端的A/B测试,移动端的技术难度与复杂度都要高得多。

A/B 测试,简单来说,就是为同一个目标制定两个方案(比如两个页面),让一部分用户使用 A 方案,另一部分用户使用 B 方案,记录下用户的使用情况,看哪个方案更符合设计。A/B测试已经在Web上得到广泛的应用,也出现了不少的测试工具,Optimizely就是其中之一。 [1]

使用A/B 测试首先需要建立一个测试页面(variation page),这个页面可能在标题字体,背景颜色,措辞等方面与原有页面(control page)有所不同,然后将这两个页面以随机的方式同时推送给所有浏览用户。接下来分别统计两个页面的用户转化率,即可清晰的了解到两种设计的优劣。

传统的A/B测试,是一种把各组变量随机分配到特定的单变量处理水平,把一个或多个测试组的表现与控制组相比较,进行测试的方式。

新的A / B测试,不仅仅其范围限制在web分析方面,而是为其注入新生命,即移动设备端分析。Pathmapp联合创始人兼首席执行官亚当Ceresko表示,今天,开发人员需要大大提高优化工具的性能,移动分析已成为A/B测试增长最快的一个领域。

用一个电商App的场景作为例子。电商App集成了我们的SDK之后,就可以在AB测试控制台创建很多“测试版本”,每个测试版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同测试版本的试验运行状态、流量分配以及查看详细的数据报告,并选择发布效果更好的测试版本。

拿这个例子来说,假如这个App有100万在线用户,通过控制台可以控制这些用户看到不同的测试版本。假如其中50万用户看到左边版本,产生了10万购买;另外50万用户看到右边版本,产生了40万购买。这个试验数据说明右边版本产生的转化率更高,可以通过控制台将这个版本推广到所有100万用户。

其中最重要的就是产品优势,科技在A/B测试引擎的流量分割方面下了很多功夫,可以尽量保证试验用户流量的代表性和试验数据的准确性,同时支持试验流量动态控制、多变量组合试验、大量并行试验、针对特定人群的定向试验等。

长标题还是短标题

疑问句还是陈述句

正式语气还是非正式语气

强调卖点 A 还是卖点 B

大图片还是小图片

照片还是绘图

客户还是产品

单列销售信函布局还是多列布局

3页的形式还是1 页的紧凑形式

质量还是便利

功能还是服务

赚钱还是省钱

强调免费送货还是退货自由

列出所有的激励措施还是什么都不列

电话订购转换还是在线表格转换

A / B测试不是要让你用最新的技术、最新的软件或者算法,大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你的网站制作找到方向。好好利用那些简单、低廉的测试方式。

不要让你的直觉推翻了测试结果。在A / B测试的结果往往是令人惊讶的或直观的。在一个绿色为主题的网站,一个明显的红色按钮有可能成为赢家。即使红色按钮不容易吸引注意。您要测试的目标是一个更好的转换率,而不是美学。

还有一点需要注意的是,A/B 测试的页面必须有较高的 UV (Unique Visitor,独立访客数),因为分流带有一定的随机性,如果页面 UV 太小,分到每一个版本的人数就更少,结果很有可能被一些偶然因素影响。而 UV 较大时,根据大数定理,我们得到的结果会接近于真实数据。 [2]

Pathmapp通过结合视觉分析和A / B测试,充分解决移动设备分析需求,一旦手机应用开发者,在手机应用中嵌入新A / B测试的代码,这款应用就能收集用户使用手机进行的每个交互活动,如交流,刷卡等。然后建立这个用户的数据,提供“Heatmapps”(即视觉密度地图),记录用户在哪方面以及与哪些应用程序发生交互。

该平台还通过应用程序,提供视觉显示最常见的路径,以及事故报告。所以,除了日志转储,Pathmapp可以显示用户点击过的应用程序。Ceresko说,Pathmapp的这个想法源于他成立APPEK的经验,这是一个租用手机应用程序代理平台,Pathmapp的总公司。

Pathmapp用了三年时间,将针对企业和独立开发人员基于Android、iOS和Facebook应用程序的设计和部署大功告成。首席执行官表示,在经历了一次次的挫折之后,A / B测试工具+视觉分析功能的移动A / B测试工具,功能很强大。

AppAdhoc独创性A/B测试革新

千万量级App用户规模支撑:现在的主要面向是日活上万用户的App,后台可以支撑每日至少千万量级以上的各种App用户发起的试验请求与日志汇报。

科学的用户分割:使用学习算法将App用户按照日常行为进行分组,保证X%的试验流量(B)具有代表性,与(100-X)%的主流量(A)有可比性。支持多个试验并行运行,也支持多个试验重叠运行。

准确的试验结果:使用Hadoop实现统计学的算法来处理数据,分析对比试验流量与主流量的结果数据,保证对比结果的置信区间

在实际进行AB测试的时候,往往有两种方法,一种是传统的由技术人员制作多个页面,然后通过URL重定向进行分类流量,而另外一种方法是通过专业的AB测试软件。前者需要花费较多的人力物力,而且在数据的分析上也比较麻烦,而后者则无需任何编程技术,基本能通过这些软件自带的编辑器实现。目测主流的测试工具包括:

Google Website Optimizer

搜索巨头提供的免费A/B测试工具。一个很好的入门级工具,但是没有一些先进的功能。

Visual Website Optimizer

一个易于使用的A / B测试工具,包含功能:如所见即所得的编辑器,单击地图,访问者分割和标签等。

Unbounce and Performable

集成着陆页设计的A / B测试工具。

Vertster, SiteSpect, Webtrends Optimize and Omniture’s Test&Target

企业级测试工具。

云眼A / B测试系统

针对Web/H5、App,小程序、服务器端等应用提供参数化编程、前后端全栈编程和可视化编辑等技术,同时支持SaaS和私有化部署两种模式。

AB Tester

中国首款免费A/B测试工具,包含数据统计、精准投放等功能。 [3]

AppAdhoc Optimizer

北京吆喝科技有限公司开发的在线AB测试平台,用数据帮助开发者优化产品,是国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java)AB测试服务的专业Saas平台。 [4]


相关文章推荐:
视觉分析 | 北京吆喝科技有限公司 |
相关词汇词典