如何通过A/B测试对网站测试与诊断

什么是A/B测试?

A / B测试，即你设计的页面有两个版本(A和B)，A为现行的设计， B是新的设计。比较这两个版本之间你所关心的数据(转化率，业绩，跳出率等) ，最后选择效果最好的版本。

A / B测试不是一个时髦名词。现在很多有经验的营销和设计工作者用它来获得访客行为信息来提高转换率。这是一种很有效的方式，并且由于各种分析工具的发展，测试成本也越来越低，因此很多电商网站都会采用。

但是大部分人对于A/B测试只有一个基本的认知，如何将它的效应发挥到最大?本文提供19个建议。

　　1、减少页面摩擦

页面摩擦就是用户在浏览网页的过程中遇到了一些阻碍，会降低转换率。通常造成页面摩擦的原因有三：

信息栏——要求用户填写信息

步骤指引——网站地图太复杂

长页面——太长的页面会磨掉用户的耐心。

最好的状态是一种“不在场”的状态，就像人的身体一样，没有病痛的时候你不会记得身体的存在。用户用得行云流水，所有的步骤都顺理成章，这才是最好的体验。

　　2、信息输入焦虑

有的用户不愿意输入太多信息，因为不确定输了那么多信息以后会不会得到应有的回馈(有的人填了一大推信息之后得到一封广告邮件之类的东西，会产生一种被坑的感觉)。越多的信息需要填写，用户流失率就会越高。

但如果用户很明确知道他们的努力可能会换来什么回馈，他们就很乐意按照网页的指引一步一步往下走，也愿意填那些表格。

有时候“目标清晰”比什么都重要，回答下面3个问题，你可以省略很多不必要的步骤|：

这个页面是什么?让用户清晰地知道他到了哪一个步骤;

我可以再这里干什么?让用户一眼看明白这一个页面是为了展示什么;

为什么我要在这个页面?要把核心优势直观展示出来。用户不需要去思考在这一页可以干什么，自然也不需要思考为什么要在这一页停留。

用户都很懒，一旦他弄不明白他在哪个网页上可以做什么，他可能马上就关掉那个网页。

　　4、倾听用户需求

一个B2C的网站，最好是把B和C都找来，听听他们各自的需求，请他们互相提要求。请用户试用网站，并观察他们的使用习惯，这总是有百利而无一害的。

最后，单独留下C，请他们说说更深层的意见，以及他们是如何与网站交互，哪些功能很好，哪些多余等等。

　　5、定价

对于电商网站来说，定价是一件至关重要的事。消费者除了关心数字，还关心价值，除了数字，还可以在文案、图片上面做工作。一个完美的定价不是一味只考虑便宜，而是要让消费者觉得他占到了便宜。

　　6、尝试提价

不要想当然地认为价钱便宜就一定会提升销量，反之，价格高也不等于销量少。有的消费者看到价钱便宜的商品会懒得点开看，因为觉得“便宜没好货”，实际上那个商品质量还不错——所以定价要秉着一分货一分钱的原则。

此外，还可以尝试小额的加价。比如一次加2%，看看销售量如何，在消费者承受范围之内再加个2%，小额的加价不会让用户觉得你在漫天要价。

　　7、测试社交因素

很多产品旁边都有一键分享至社交网站的功能。但是，电商们有真正调查过这些功能会提升还是抑制销量吗?

我看过一个很有意思的调研报告：说是一个祛痘产品的页面因为有了分享功能而减少了25%的销量。毕竟，有的敏感的商品消费者是不愿意和别人分享的(设想一下如果人家买的是杜蕾斯或是什么，你也要他分享到Facebook上吗)。

　　8、把广告位放低一点

常识可能告诉你广告位越高越显眼就会给目标页面带来更多流量——但是A\B测试通常就是要测那些自以为是常识的东西。

你花了一定的成本获得了一个位置很好的广告位，这个广告为你提升了50%的销量，但实际上这些收益还抵不上你为广告花费的成本。稍微算一算你就知道投入产出比了。这个报告告诉我们：即便你认为是常识的东西，也不妨去做一个A\B测试。

　　9、测试每一个“黄金准则”

上一条告诉你要测试常识性的东西，这一条还要补充一点：测试看起来是黄金准则的准则。黄金准则之所以黄金，也是因为经过了无数次的测试(那么也不在乎再多倍测试一次)，比如标题党会让客户对你的信誉产生质疑，这就是一条黄金准则。

但是，非常时段可以用一些非常方法，如果销售结果总是不如预期，那么你也可以去测一下是不是某条黄金准则出了问题。

　　10、利用一些工具

如果你需要找到数据变动的原因又不想花太多时间，可以用一些第三方工具，比如Silverback，可以帮你记录用户在网页上的操作并给出有效的数据。

相关性：你的登陆页是否满足用户的预期?你能保持这种风格的连贯性?

价值：你能符合用户的价值期待吗?你能给他们想要的东西?

应激性：用户知道自己来这个网站要干什么吗?用户知道要怎么操作吗?

　　12、试试不同的遣词

微小的网页调整会改变转化率，微小的用词上的改变当然也可以引起不同的结果。比如，“Join Now”和“Buy Now”哪一个更能刺激用户的购买欲?测试一下。同理，整个网页上的文案风格的转变也能造成不同的效果。

　　13、一个页面只展示一个信息

转化率最高的页面都有一个共同特点：一个页面集中展示一个信息，不要让你的用户感到迷茫，让他们看一眼就知道想干什么可以干什么。

　　14、测试哪个属性是最吸引的

一个商品有无数个属性，价格、颜色、材质、产地，等等，那一种属性对用户构成最致命的吸引?一个一个地尝试。再一次重申，不要想当然的替消费者决定他们在标题里最想看到的是哪一个，你要测试才知道。

　　15、连小得变态的细节都不放过

2007年AJ Kohn测试了两个域名www.YourDomain.com和www.yourdomain.com，仅仅是首字母大小写的问题，结果令人大吃一惊：大写的那个点击率比小写的高出53%!这个事件说明有时候你看不上眼的小细节也能造成很不同的后果。

　　16、完美?No!

有的人想要做出“完美”的登录页面，可是我想告诉你，没有完美的页面，A\B测试的精髓就是让每一次测试的结果都比上次更好。

那句广告语是怎么说的?没有最好，只有更好。

　　17、寻求成本更低的测试方式

A\B测试不是要让你用最新的技术、最新的软件或者算法，大部分时候一个纸上的原型或者线框里5秒钟的测试都能帮你找到方向。好好利用那些简单、低廉的测试方式。

　　18、等到测试完成

上文里无数次地强调不要想当然，在测试没有结束之前，所有的数据都可能是片面的，不要想着用部分的结果去替代全部。

　　19、永远不停地测试

A\B测试的精髓就在于：永远不要满足于目前的结果，总有更好的解决方案。一次的A\B测试也许能提升50%甚至更好的转换率，但这并不意味着到顶了。生命不息，测试不止。

一、 UI测试

用户界面测试主要是拿待测网页和设计稿进行对比，个人觉得主要需做到以下4点：

1.注重细节：

这点最基本，就是对比时细心、细心再细心。像我现在被虐到网页上元素和设计稿差一个像素都能看出来…

2.勿忘整体性：

由于PC网页页面空间大，模块多，很容易在测试时只注意到模块内设计元素是否正确，而忽略了模块间的间距或整个页面的布局是否正确。所以最好按照由局部到整体的顺序测试。

3.注意页面间相互对比：

即注意相同系列页面、页签布局一致性。就是说的是同一系列页面中同类元素和模块的样式、间距一般要相同；同一个tab下，不同选项对应 的页签中同类元素和模块的样式、间距一般要相同。例如下图QQ空间-日志页面里我的日志和私密日记tab中，红框圈出的位置高度是否一致。

QQ空间日志-我的日志

QQ空间日志-私密日志

一般情况下这些不一致问题出现的情况不多，毕竟相类似的布局前端同学应该会用相同的盒子，但是测试时还是需要留意。

4.注意极端情况下显示情况：

即要注意长度可变的元件、模块或字段在极端情况下的显示是否正常。

例如：文章标题最多可显示50字符（25汉字），测试时就要在所有会出现标题的位置（文章列表页、推荐边栏、转发弹框…）是否能正常显示含有50字符的标题，会不会出现破框而出、自动切掉等情况。

由于UI测试时需要检查的细节很多，特别是像我们团队，网站还在搭建中并未上线，UI测试的工作量更是大，测久了难免会觉得枯燥繁琐，但其实每项任务都能总结出套路、有所收获，故下面仅列出我平时在测这部分时的主要注意点和心得。

UI测试注意点总结：

1. 模块间距
2. 元素间距
3. 不同类型文本（数字、汉字、英文）颜色、格式（全角、半角）大小、字体、（不必须）
4. 固定文案：内容的可读性、正确性‚排版的合理性
5. 可变字段：极多、极少文字的排版情况
6. Icon用错、用混
7. 相似页面的差异性和一致性

小体会：

其实界面测试虽然没啥技术含量，但测久了就会发现自己对网页元素有时彼此间的间距差了1、2个像素，整体的视觉效果就尺寸和布局的敏感度有提升，例如像同样一组元素，会大有不同，web是这样，移动端更是如此。

随手画张图举个栗子：左图网页做出来名称、作者、互动统计三者之间行距相等，中文字大小相 同，而设计稿原本应如右图，行距不同，不同字段的字号也不同。所以假如测试时遇到类似这种问题，我们除了可以提个bug，还会被引导去思考设计初衷，即利用间距细微差异进行视觉分组，利用字号细微差异突出主次。

二、功能测试

1.操作反应：

（1） 页面元素（按钮、锚文本、输入框…）自身状态变化：鼠标移入/移出时效果、点击后效果、获取/失去焦点时效果…（可以想想axure里的用例状态）

eg：鼠标移入按钮，按钮是底色是否应改变；若输入框内有默认提示文字，则是当输入框获得焦点后文字就消失，还是用户输入文字后提示文字才消失…

（2）操作成功后续反应：页面跳转、弹框、提示文字…

a.页面跳转：

• 页面切换方式：另开页面、本页切换
• 页面起始定位：页面起始位置、页面其他锚点（例如用户想评论某文章，在列表页点评论按钮后，就会在另开的文章内容页直接定位到评论区）

b.弹框：

• 匹配情况：弹出的弹框是否和触发条件匹配
• 出现位置：一般情况下要一致。因为弹框使用不同插件，可能导致弹出位置不同。
• 显示时间（非操作类弹框）：某些仅起到提示功能的弹框会自动显示若干秒关闭。一般情况此类弹框上文案较少，显示秒数应该是全站一致的。

c.提示文字：

匹配情况：出现的提示文案是否和触发条件匹配

关于操作成功后续反应，以上主要是在已确定会触发某反应情况下，测试其正确性。其实这里更重要的是要考虑在前置条件不同的情况下，对某元素进行相同操作，会触发什么不同的反应。即需要对各类情况进行穷举。

eg：点击关注按钮触发反应穷举：

a.未登录用户点击该按钮后效果；

b.已登录用户点击该按钮后效果（b1.未关注过对方、b2.已关注过对方、b3.自己关注自己）

穷举时可以参考PRD，但不要局限于PRD上列出的情况，毕竟有时也许PRD上会有小疏漏，要是程序员做的时候发现疏漏，就自己随手码了一个简易提示而忘记通知产品，而测试的时候也没触发到，等用户实际操作出来就会造成不佳的用户体验。

2.数据：

（1）数据状态：此处指数据值自身的状态。即前置条件满足后，数据状态是否会按照规则更新。

这里的规则一般是

a.时间规则（eg：经过多长时间数据状态改变；在哪个时间点更新…）；

b.统计规则（eg：每个ID多次完成前置操作，数据更新多次；每个ID多次完成前置操作，数据仅更新一次；每个ID…）

（2）数据排序：数据在某筛选条件下排序的正确性。

eg：某宝某店铺商品展示页面，当用户选择按销量由高到低排序时，列表是否变为按销售量多到寡进行排序；当商品A的销量超过商品B的时候，商品A的位置是否会更换到商品B的前面。

3.特殊情况 ：

（1）缺省情况：当某页面或模块还没有内容或尚未加载出来时，是否有相关提示画面、文案。

（2）操作中断：用户操作中途退出页面（eg：填写资料并尚未保存时关闭页面）；操作中途断网…这些情况下是否设置了相关提醒弹框。

三、兼容性测试

不同浏览器（360、谷歌、火狐等等主流浏览器）下的页面显示情况是否正常。

四、怎样测试才能少被开发怼？

1、用例尽量辅助截图：

由于我们公司还没有bug管理工具，测试反馈都是用excel撰写的，因此我非常能理解程序员葛葛们看着密密麻麻的文档时，心里一万只草泥马呼啸而过的心情。而辅助页面截图，一方面表达更清楚，减少文字描述；另一方面，某些偶发bug留下“事故现场”的证据很有必要。

2、用词准确到位：

这点我的体会是，如果公司负责测试的同学不是技术出身，无法完全用专业术语，也要尽量把bug和正确结果描述的清楚到位，否则反而会增加沟通成本。当然，如果测试也懂技术，那么世界将变成美好的人间~

3、前端、后端、设计问题在文档中区分开：

这个不多说了，就是为了避免导致三个和尚没水吃的下场…

4、某些问题采取灵活的解决方式：

测试时也会偶尔发现原有产品逻辑疏漏或错误、或者感觉某些功能有更好的实现方式。第一种情况时，不要慌了手脚忙着策划新方案，而是先去和程序员葛葛们沟通、听取建议，咨询有什么方式可以在变动最小的情况下达到策划的目的。第二种情况就相当于提新需求了，就算是情势所迫或开发时间充裕，也尽量三思后行吧，要提可以迭代的时候提。如果测试的时候总提新需求，暂不提程序员的心理阴影面积，产品开发节奏可是会乱套。

以上是对近期测试工作的小总结，主要列出的是自己经常踩的坑。由于经验尚浅，肯定有许多方面写的不够到位，请大家多多指教，我会虚心学习哒~