洋葱数学课程详情页优化

公司简介

洋葱数学是一款针对中小学生的在线辅导产品，有APP版和PC版；目前已推出数学和物理课程，包括小学、初中和高中三个阶段，涵盖国内12个版本的教材。每一节课程均是由5-8分钟左右的动画视频和智能练习呈现。让中小学生轻松进行个性化学习。

洋葱数学将国家对中小学生的教学大纲中的知识点制作成一系列的视频课程（与教材同步），每个视频都用有趣的视频语言来对教纲中的某个知识点进行详细的解释与阐述，并会在视频中穿插练习题，确保学生在理解一个概念之后才继续观看视频，直到完全掌握课程内容。而后还会有课后练习与章节测试题，做错的题目会自动进入错题本，方便学生以后复习。

案例背景

洋葱数学的核心需求是提高课程详情页面转化率。产品同学从业务特点，和受众偏好出发设计不同USP文案来促进潜在用户完成转化。

测试方案

洋葱数学的核心需求是提高课程详情页面转化率。产品同学从业务特点，和受众偏好出发。设计了两版“课程详情页”分别将侧重点放在了“在线辅导”和“介绍提分”。因而，需要设计一组 A/B测试来检验两个版本在购买转化率方面的表现。

基于以上试验需求，吆喝科技与洋葱数学一起设计了一组编程对比试验（如图）。得益于Appadhoc A/B Testing良好前后端兼容性和友好的编辑功能，试验中为新旧版本各是一个独立的页面，并通过该平台实时调节和监测数据，实现了响应速度快、埋点工作量低的特色功能。

测试目标

本次A/B测试的主要目的是验证，页面凸显不同卖点，对于用户购买转化率的影响，核心关注的目标数据是“购买按钮”点击数和“购买转化率”，并参考两个版本的置信区间。

新版本的置信区间和旧版本相比：

• 如果出现置信区间同正或同负的情况，说明某一版本带来了正面的或负面的增长；

• 如果样本量一定的情况下，置信区间一正一负，说此次改进没有显著效果，可以考虑换一个优化方向。

A/B测试数据反馈

本次试验是在洋葱数学小程序进行，试验周期维持了一周。产品运营部门在Appadhoc A/B Testing实时数据统计和多维度分析功能帮助下很快得出了科学的试验结论。

试验数据表明，两个版本在试验中并没有明显差异；

试验中，通过Appadhoc A/B Testing的科学流量分割与实时调节功能，实现两个版本页面均分流量，然而可观察的样本数据并没有显示出明显差异，置信区间没有收敛。最终，我们推荐洋葱数学将课程页面流量提上来，增加样本量，再进行对比试验。

这次A/B测试帮助洋葱数学避免了盲目创新带来的更新风险和用户流失，并且帮助其进一步明确产品优化方向，把精力放在其他可以提升转化率的方面。