美识+主菜单界面样式优化

公司简介

美识+是京东打造的独立零食购物平台，主打“零食全球购”，提供包括北美、欧洲、东南亚、日韩等地的零食。此外，美识+还根据不同使用场景，推出了办公室、追剧、男朋友等多种专题版块，用户可以直接通过客户端购买零食，所购商品均有正品保障，由京东配送。目前，产品已经上线了200多个品牌，包括乐事、好时、不二家等国际品牌，以及三只松鼠、良品铺子、周黑鸭等国内品牌。

案例背景

京东美识+作为京东旗下一款主推零食的移动应用，始终将用户体验作为核心发展目标。在前一阵子的用户调研中，他们收到了一部分种子用户的反馈，这部分用户表示他们有时很容易混淆各个菜单所展示的内容；希望美识+可以把目前以图标作为展示的主菜单加上文字说明，这样可以让他们能够更清晰的了解对应菜单所展示的内容，从而更快地找到他们想要的产品。看到这些反馈后，产品团队很是苦恼，因为将个性图标作为主菜单按钮当初是为了将美识+从大多数主菜单都是图标+文字来做展示电商应用中区分开的；从而给用户带来与众不同的效果。

尽管如此，用户的心声还是最重要的，产品部门为了可以尽快解决这批用户反馈的问题，策划出了一套添加了文字说明优化方案，并且将这个版本投放给部分用户群体做测试，在测试持续一段时间后，他们却发现这些参与测试的用户对原始版本和优化后版本的接受程度褒贬不一；在这种情况下，产品部门处在了进退两难的位置，他们非常担心这个版本是否对全局用户带来负面影响，如果不能提前确认这个加入文字的版本可以得到整体用户的认可，他们将无法执行发版，

产品部门希望在发版前，可以先通过对 APP数据分析 ，用具体、客观的数据来了解整体用户对于不同方案对的影响，帮助他们做出的产品决策。

测试方案

AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量，使企业可以在新版本上线之前，以最低成本观察客户对多个优化方案的数据反馈。同时，根据试验的数据发现用户反馈最好的版本，作为最终的新版本迭代方案。

产品部门将策划的两套优化方案集成到AppAdhoc A/B Testing中，生成了包含1个试验版本和1个原始版本的A/B测试。

原始版本：主菜单图标样式为纯图片布局，即无文字说明。

试验版本：相比原始版本，主菜单图标下方添加了文字说明，其余页面样式保持不变。

测试目标

两个版本只是文字说明上的差异，但对于之前从未使用A/B测试进行产品优化的美识+来说，通过这个简单的场景将产品迭代与A/B测试相结合，可以使产品和研发团队快速熟悉A/B测试架构；同时，产品在集成AppAdhoc SDK后的稳定性也可以通过这个试验来验证。

此次试验中主要关注的指标：用户在APP中对产品的评论和反馈、这两个版本的留存情况，从而选出数据最优、综合反馈最好版本作为新版本的迭代方案。

A/B测试数据反馈

通过AppAdhoc A/B Testing产品的科学流量分割机制，在最初他们向两个版本分配了各5%的流量来看新版本的稳定情况，之后将2个方案的流量调整各至30%，运行了30天左右（一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周），随后，各个试验的数据反馈使美识+的产品部门立即得到了他们想要的答案。

-通过对服务器日志监控的数据来看，集成SDK后的版本非常稳定，没有出现崩溃等异常情况；

-线上以及线下收集的用户反馈显示用户新版本的喜好程度还是大于原始版本；

-从整体活跃以及留存角度来看，新版本比老版本提升了3%左右；消除了新版本存本对用户留存和活跃可能会有影响的疑虑；

-从本次的试验过程中，菜单的点击趋势的变化仅作为参考，并不是主要关注对象。