小恩爱HTTPS功能试验

公司简介

小恩爱是2011年7月创建一款情侣应用产品，能够从生活服务的各个角度满足情侣的不同需求。秉持着“让天下情侣更幸福”的原则，小恩爱为情侣提供了多种私密功能，情侣可通过产品免费发送只有彼此才能看到的短信、语音和图片等，打造属于情侣的最私密的二人世界。除此之外，小恩爱致力于为情侣提供全面的一站式服务，不断完善对情侣生态场景产品的发展，包括情侣游戏、礼物电商、恋爱保险、情侣金融、周末旅行、情侣主题餐厅和酒店等等，让情侣可以轻松享受丰富多彩的二人世界。截至2016年7月，小恩爱已成功收获了8000万精准用户，月交易额达到3000万元。

案例背景

小恩爱会不定期在应用内举行一些活动，并通过H5页面落地实施。几次活动之后，产品部门收到不少用户在活动页面中看到莫名其妙广告的反馈，严重影响了用户体验。通过技术排查定位后，产品技术部门发现出现无端广告的原因：产品的网络请求在HTTP协议下，活动相关的页面数据易被篡改，被篡改的H5页面被运营商劫持并植入广告。

相较之下，HTTPS协议可以更有效的防止页面数据被篡改。但考虑到网络环境比较复杂，如果直接全量发布遵循HTTPS协议的产品，可能会引发全站的网络错误问题。因此，产品技术部门决定采用吆喝科技提供的 A/B测试解决方案 ，验证HTTPS协议的实际可行性。

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量，使企业可以在新版本上线之前，以最低成本观察客户对多个优化方案的数据反馈。同时，根据试验的数据发现客户反馈最好的版本，作为最终的新版本迭代方案。

本次试验采用单变量A/B测试的方式，原始版本保持HTTP协议不变，将试验版本调整为遵从HTTPS协议，其余产品元素没有任何改动。同时，设定“网络请求错误数”为本次试验的关键优化指标。

测试目标

此次试验的主要目的在于，观察产品在更换网络请求的协议后，是否能够有效的防止页面数据被篡改，以及是否会引发全站的网络错误问题。最终根据关键优化指标情况，结合用户的体验反馈，选择出综合最佳的版本。

A/B测试数据反馈

本次试验在安卓和iOS端分别运行，每个移动端对应两个不同的版本，具体时间安排及流量配置如下：通过AppAdhoc A/B Testing的科学流量分割机制，此次试验在运行了三个月之后（由于此次试验内容属于功能层面，为了避免功能上线前期的阶段性数据差异，应适当延长试验时间），得出了科学的试验结论。

-通过后台数据统计发现，HTTPS协议的错误请求数要明显低于HTTP协议的请求数据；

-试验期间，应用内举办过H5页面活动，整体收到“看到广告”的用户反馈数量明显减少。同时，没有用户反映出现新的网络使用问题；

-可见，HTTPS协议确实能够有效的避免网络遭到劫持，并且没有引发其他网络问题。因此，产品部门决定发布HTTPS协议的试验版本。