农信银智能日志分析平台：保障双十一农村金融机构支付清算业务平稳运行

今年双十一期间，农信银资金清算中心有限责任公司（以下简称“农信银”）支付清算系统，面临前所未有的交易量的冲击。

据农信银公开资料显示，2018年11月11日，农信银支付清算系统共处理交易 5312 万笔，其中为农村地区客户办理的网络支付交易 5060.71 万笔，金额 280.49 亿元。与去年相比，交易金额、交易笔数双双实现翻番。而 00:00-1:00 一个小时内，农信银支付清算系统交易峰值性能达到 4018 笔/秒，同样实现同比翻番。时间和效率就意味着金钱和价值。

双十一前，为应对挑战，农信银与日志易等厂商进行了多轮讨论。除做好事前准备及预案，农信银对事中系统的运维支撑体系也提出了更高的要求，如实时监控、故障预警、快速定位、监控实时交易量波动等，既要保证监控的实时性，又要尽量避免对业务系统的干扰。

显然旁路抓包、日志分析将成为关键支撑手段。

但因日志来源众多，日志体量较大，金融机构对日志数据的使用往往存在以下难题：

-没有对日志做集中管理。日志搜索需要逐台登陆服务器，使用脚本程序或命令行进行，难度大，还容易导致误操作。

-日志利用率低。日志多用于事后分析，没有实时监控及分析手段，大批量的日志经常被当作无用数据删除。

-日志管理难度大。传统的数据库、Hadoop 等管理手段，无法满足海量非结构化日志的管理需求，缺乏高效的日志管理工具。

农信银为了应对双十一的流量高峰挑战，决定构建一个日志数据实时分析平台，以满足业务运行期间的实时日志分析需求。日志易基于多年日志处理经验，为农信银提供了完整的日志分析平台方案。

日志易构建的高性能、分布式日志处理架构可以每秒钟分析 1000 万条日志，每天处理 100TB 级的日志量，用户可搜索、分析几秒钟之前产生的日志，做到日志实时处理、监控、分析。

日志易为农信银搭建的日志分析平台，主要带来以下几个方面的收益。

1  效率提升

- ESB 耗时分析场景效率提升：

ESB 耗时分析效率提升 30 倍。在安装日志分析系统平台之前，客户需要平均花 5 分钟左右的时间去查询所有机器并手动计算时间。安装日志分析平台后，查询 1 笔交易耗时仅需 10 秒，而且有相同 msgId 的报文也可以一次全部查询出来，这给运维组节省了大量时间。同时，日志分析平台还能对耗时进行排序和差异化体现，方便识别交易耗时较长的环节，从而定位问题。

-秒级展现双十一 TPS 交易量以及实时波动曲线：

实时展现提升 60 倍。之前只能从数据库中获取数据，数据展现延迟达 1 分钟之久。通过日志分析平台的实时日志接入及统计计算，数据展现时间缩短至 1s。

-异常感知：

异常感知效率提升 10 倍。异常感知时间从以往的 5 分钟左右，降低到 30s，即能在 30s 内完成日志获取、发送、结构化分析、存储、检索、可视化等。

-熔断信息查询：

熔断信息查询定位效率提升数倍。由以往的人工确认变为机器自动感知，时间缩短至 60s 内，即能在 60s 内精准定位成员行是否被熔断、熔断时间、熔断时长及熔断恢复时间。

2  方便故障排查

故障排查更方便，效率提升 10 倍以上。

应答系统出现问题场景：

发送行有大量的请求报文，中心机构没有进行应答，ESB_Tranlog 模型只有大量的请求耗时，此时中心应答系统出现问题。

接收行未响应场景：

接收行一直未响应中心行请求，导致第二阶段请求一直在增加。此时接收行的 ESB 系统存在问题。

在安装日志分析系统平台之前，查询最新的交易是否存在问题，需分别登录到各集群服务器，查看最新的交易报文是否完整。一般故障查询时间需花费 10 分钟以上。

安装日志分析平台后，可全文检索最新的 10 条 msgId，然后使用该 msgId 放到 ESB_Tranlog 模型中，如果交易正常，即可正常显示 4 条报文和交易耗时信息，如果交易异常，数据则会显示异常。该验证 1 分钟之内基本可以完成。日志分析平台上线以来，已成功帮助客户处理多次故障问题。

3  改进用户体验，提升团队协作效率

日志易将客户最关心的 KPI 指标，投放到指挥室大屏幕上，如交易量信息、成员行熔断信息等。不同岗位人员及管理者通过大屏实时查看重要信息，一目了然，同时团队协作沟通效率大大提高。

图为农信银双十一运维支撑团队指挥室大屏

农信银是为全国农村中小金融机构提供资金清算服务的全国性专业特许清算组织，现已覆盖全国近 8 万家农村信用社、农商银行、农村合作银行、村镇银行等农村中小金融机构网点。2018 年是全国农村中小金融机构全面落实人民银行“断直连”工作要求，通过农信银支付清算系统“一点接入”网联办公网络支付业务的第一年，又是农村地区网络支付业务快速增长的高峰年。

此次成功实施，是日志易团队和农信银通力合作的成果，日志易团队通宵支持农信银双十一运维保障工作，彰显了专业的素质及高超的技术水平。农信银智能日志中心于 2018 年创双十一辉煌战绩，来年业务定能再攀高峰！