追书神器书籍推荐优化测试

公司简介

《追书神器》是国内首款专注网络连载文章的应用，旨在让用户以最便捷的方式浏览到文章的最新章节。产品以百万级的小说收录为基础，在实现海量小说更新与作者云同步的同时，还结合真实的测评数据，为不同的用户群体提供个性化的小说榜单和各类主题书单，一站式满足差异化的阅读需求，真正解决用户阅读的“书荒”痛点。此外，追书神器还拥有多元化的社区交流讨论区，建立起作者与用户、用户与用户之间的粘性和社交纽带。作为一款专注开发免费阅读小说的移动阅读类APP软件，追书神器自2012年上线以来，经过4年运营，用户已超过6000万，日活超过800万。凭借强大的产品功能、社区日活系数、用户的高口碑及留存率，追书神器获得MAIC2016年度最具成长性移动阅读类应用。

案例背景

用户活跃度和留存是追书最核心的业务指标之一，所以追书对产品优化的一切改进都会围绕这些指标来进行。这次追书神器的产品部门希望从书籍推荐入手，进一步促进已经阅读到完结章节的用户开启下一步书籍的浏览。目前共有两种推荐方式可以实行，至于哪种推荐方式能带来更多的阅读量和追新量，就需要借助A/B测试来找到更好的推荐方法。

测试方案

目前追书神器在侧边栏的推荐书籍中，分为主推书籍和弱推荐入口。用户在主推荐栏可以看到被推荐书籍的封面、书名和作者信息，而弱推荐入口则需要点击进入口才可以浏览相关书目。

AppAdhoc A/B Testing采用科学的试验流量分割，使得每一组试验对象具备一致的用户特征，并在试验过程中也可以随时调整用户流量，使企业可以在新版本上线之前，以最低成本观察客户对多个优化方案的数据反馈。同时，根据试验的数据发现客户反馈最好的版本，作为最终的新版本迭代方案。

根据现有的书籍推荐方式，产品部门设计试验方案如下：

原始版本：主推“精品书籍”版块，即当下优质书目推荐，与用户阅读的书籍类型无关；

试验版本：主推“相似书籍”版块，即根据用户当前阅读的书籍类型，推荐与之相似的其他书目。

优化指标：将“添加到书架点击量、展示书籍点击量、更多选项点击量、文字点击量、开始阅读点击量”作为本次试验的核心优化指标，同时设定“总消费金额”为辅助观察指标。

测试目标

这次试验的主要目标是观察不同书籍推荐方式对用户阅读量的影响，同时验证不同推荐方式是否会对付费转化的产生积极作用。

A/B测试数据反馈

本次试验Android端进行，两个版本各分配25%的流量，运行周期共计15天（一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周）。在观察对比上述优化指标后，产品部门得出了科学的试验结论。

-试验版本胜出，主推“相似书籍”的方式对用户继续阅读并添加追新等指标有明显的提升效果，其中“添加到书架”的点击数据增加了354%以上；

-然而试验版本对“总消费”指标的影响不大，尽管样本数据显示有非常微小的降低，但置信区间未收敛，说明没有确定的增减影响；

-关于对总消费的不确定影响，推测可能的原因在于，从进入侧边栏到产生最终消费，整个行为路径很长，期间用户可能会受到其他因素的作用，因果关系不直接；

-这次试验找到了能够促进用户继续阅读的书籍推荐方式，同时也为进一步优化“总消费”指标明确了方向。