中银证券 A/B 测试落地实践：如何驱动用户体验提升？

当前，A/B 测试日渐成为驱动企业高增长的重要手段，其价值已被诸多企业看见并验证。借助 A/B 测试，通过观察关键效果指标的差异，选出更有效的方案，从而降低行动成本和风险，帮助企业择优选取策略，实现业绩增长。

随着证券行业由增量市场转变为存量市场，券商的互联网获客成本逐渐攀升，加之证券行业的强监管属性，运营逐渐从大刀阔斧的变革转向精细化运作，如何借助 A/B 测试工具调优日常运营动作，提升客户体验，成为证券行业业务优化的重要选择。本文聚焦 A/B 测试在证券业务场景中的应用与价值，为更多从业者开展实际应用提供参考和借鉴。

成立于 2002 年的中银证券，在全国 80 多个城市设有 110 余家分支机构，旗下有 「中银证券」 APP 等，其曾获评《证券时报》“年轻用户喜爱的券商 APP”。在实际业务开展中，中银证券与神策数据深入合作，共同探索如何利用 A/B 测试完成 APP 功能改版测试、用户流量分流运营、新功能上线发版等工作，提升效率的同时带给客户更优质的体验和服务，驱动业绩增长。

场景一：高效助力 APP 首页九宫格改版，提升整体功能使用度

中银证券业务人员计划对 APP 首页九宫格功能区进行改版，旨在提升首页整体功能使用率。为了更科学地评估改版前后的效果，通常需要进行对照试验，以往的试验中银证券比较依赖于研发人员，诸如圈选人群、建立试验层、获取结果数据等都需要等待研发排期。

现在借助神策数据 A/B 测试工具，可以便捷创建试验，具体步骤如下：设置试验名称等基本信息——选取受众用户——配置关注指标（核心指标 & 留存指标）——设置试验分组——进行代码调试。此外可以实时生成试验报告，业务人员可以方便快速地查看试验结果，同时内置的统计学检验，可以助力业务人员更科学地决策，如此以来减少了研发的工作量，提升了试验效率，业务人员可以做更多的试验进行改版方案的验证。

为更好地验证方案的表现效果，业务人员选取每日访问手机 APP 的随机流量作为试验人群，试验分层区使用根据业务特点定义的自带代码进行人群圈选。

在最终效果观测对比时，将「核心功能区域的人均点击次数」作为重点关注指标，通过神策分析工具的接入，可以及时查看和监控指标的变化趋势和情况。经过试验结果观察和数据校验，业务人员发现进入实验组（新版本）人群人均点击数优于对照组（老版本），且控制组与对照组无显著差异。

之后，再通过对首页 UI 设计、核心功能布局、活动页面文案、核心流程引导等点位设计不同试验版本，业务人员不断验证出更有效的方案，有效推动了核心指标的增长。

场景二：借助 A/B 模块分流，优化 Banner 位推荐算法

为了持续提升运营效果，中银证券大数据团队针对首页 Banner 坑位进行算法策略迭代，为了及时验证不同算法调整的有效性，大数据团队希望可以借助 A/B 试验的实时分流能力，有效评估不同展示策略对用户的吸引力和效果。

借助神策数据 A/B 测试工具，通过资金账号圈定客户人群后，将设备 ID 同步到神策数据用户分群，再进行用户分群试验，采用不同算法策略对客户进行轮播图运营，神策数据 A/B 试验可以支持全端实施试验，覆盖用户完整操作触点，这意味着试验结果可以实现用户跨端识别，从而全面观察算法策略对 Banner 坑位的流量影响和结果指标情况。

同时还会对所有进入试验的用户创建「试验标签」 ，该标签可用于神策系统的所有分析模型，完成全场景数据模型打通，全面掌握用户行为，持续追踪试验效果。

神策数据 A/B 试验这种支持选取随机流量进行多版本试验的能力，高效地助力算法权重方案调优，通过逐步放量的方式进行推广，提升了人均坑位点击次数。

场景三：A/B 测试助力灰度发布新功能，加快产品迭代优化

A/B 测试同样可以有力支持新功能灰度发布，及时管理潜在风险。中银证券产品团队计划上线某项新功能，借助神策数据 A/B 测试工具可以控制流量，实现先圈定部分特定人群体验新功能，观察客户反馈及投诉情况，根据数据表现进一步扩大试验人群范围，逐步培养用户习惯和接受程度，从而平滑完成新功能的上线发布。

业务人员可以控制整个过程，发布过程逐级扩量，如果发现指标异常或功能 Bug，可以快速回滚切换版本，较大程度地降低业务损失。

未来，中银证券还将与神策数据合力深挖 A/B 测试的价值，进一步助力 APP 功能运营与营销弹窗触达，以及优化产品、内容及服务的推荐算法，寻找全局收益最大化，持续赋能业务团队，全面提升产品的用户体验。