重塑银行增长曲线，技术融合带来哪些新突破？

在 Kyligence 举办的 Data & Cloud Summit 2021 行业峰会上，Kyligence 高级解决方案架构师应火生从技术融合角度分析了银行数字化增长的关键。他认为面临“用户体验、开发成本、全行压力、弹性服务”四大技术挑战，银行亟需一个融合不同技术并突破上述挑战的数据服务和管理平台，来提供可靠、平稳运行，并兼具弹性伸缩能力的数据服务，从而服务银行多个业务场景，同时赋能金融科技持续创新。

-- 以下为应火生在大会的演讲实录 --

大家好，今天想跟大家探讨的主题叫《技术融合赋能银行的数字化增长》，其实就是过去几年我们在服务银行客户的过程当中，关于如何支持客户促进数字化增长方面的总结和思考。

今天主要从三个方面跟大家分享和探讨：

第一，为什么说重塑银行增长曲线的关键在于银行零售业务的数字化增长？银行零售业务的数字化增长里面又有哪些非常关键，需要重点突破的场景？

第二，银行零售数字化增长的典型场景会给技术带来哪些挑战？

第三，Kyligence 在通过融合不同技术突破这些挑战有哪些方案和积累？

1. 重塑银行增长曲线的关键

最近两年，大家一定听过一句话叫“百年未有之大变局”。实际上不仅仅很多国家处于巨变之中，银行业也在十字路口。从宏观上看经济在放缓，流动性泛滥造成了资产慌，不良利润不断攀升，这些因素都在持续挤压银行的收入增长空间。麦肯锡做过一个分析，统计发现从2015年到2019年银行整体业务年复合增长率下降到8.9%，但是如果细分来看会发现其中零售业务恰恰相反，从2015年的1.6万亿增长到2019年的2.6万亿，年复合增长率达到了11.9%，远远高于总体增长率。所以业内都已经达成共识，银行零售业务增长是未来关键。那么具体来讲如何更好地驱动银行零售业务增长呢？

我们知道2020年以来由于疫情原因，数字化渠道的用户占比在显著提升，但是另一方面不良率也在升高。在这种背景之下，就不能像过去那样仅仅关注收入规模的增长，而是需要关注增长的质量。那么高质量增长如何来实现呢？答案就是需要通过科技和数字的力量来驱动，首先通过精细化的分析来促进业务的高质量成长；其次是“以客户为中心的数字化增长”，即针对客户和行为做更精细的分析，从而提高精准度，提高资产增长的质量。

那么，如何将精细化的分析与客户侧结合起来呢？我们可以先来看两个典型场景。

首先是客户画像分析，这也是营销领域的常用场景。业务人员从若干标签里面筛选出不同标签，再通过标签池分析背后的客群特征。即使是经验非常丰富的业务人员也需要反复迭代、不断尝试，最终才能够得到一个比较理想的目标客群，再针对客群做后续的营销活动。这里面的挑战就在于标签数量越来越多，分析越来越困难。比如我们有一家客户有几千个标签，客户量也很大。他们曾经利用 MPP（Massively Parallel Processing，即大规模并行处理）基于每次标签池的选择加工数据，然后再做分析。但这种加工非常笨重和耗时，每次选完标签要十几分钟才能看到结果。显然这跟业务期待的交互式分析相差非常大。

第二个场景就是零售的交易分析。我们知道每一笔交易都会关联客户、账户、产品、渠道、机构等，这背后代表了上千个维度，里面蕴含着非常海量的信息。如果要做更精细化分析的话，这里非常值得深入挖掘。未来的分析模式将会变成全行参与分析，从管理层一直到一线业务人员都会针对这些明细的交易做多维度探索分析。想象一下这个并发分析量有多大呢？而且交易是实时发生的，用户自然会期望当交易更新的时候，能够看到最新的情况，也就是对数据的时效性要求非常高。所以针对海量数据分析的挑战非常大。

2. 银行零售数字化增长的技术挑战

像上述这些场景以及其他相关场景，究竟给技术带来哪些挑战呢？

首先，既然银行零售业务的数字化增长是一个战略性的方向，那么用来支撑它的平台或者方案必然也是全行级别的。作为全行级别的平台就需要考虑非常周全，比如怎么尽可能提高用户分析体验？针对海量数据分析的时候，性能是否能像过去传统数据仓库那样及时响应？针对这种复合型的穿透式分析（从汇总查询层到最后查出明细的客户清单），能不能在让客户在整个分析流程里面体验都非常好？

其次，未来的分析场景和需求势必也会非常多，如何以非常低的开发成本支撑海量数据的分析。过去针对做海量数据分析，传统做法是根据每个分析场景加工汇总表，这样让数据量下降好几个量级，从而使分析变快。现在问题是业务变化越来越快、需求变更也越来越频繁，加工汇总表变得非常笨重。根据经验，每一张表要预估四到五天工作量，我们可以想象如果有几万张报表，需要加工多少汇总表才能支撑？还要考虑后面不停的变更，光维护这些汇总表的成本和代价实在是太高了。

再来，平台需要考虑如何支撑全行业务人员做分析。我们知道过去的分析主要是集中在数据团队或者总行这个级别，未来驱动数字化增长的分析一定会下沉到基层业务人员。如果全行都来做数据分析，那么平台的压力可想而知。我们还要考虑在云计算的背景之下，如何用云计算的方式来部署平台，也就是以更低的成本、更敏捷的弹性伸缩方式支撑分析的需求。

基于以上这些问题，Kyligence 经过一些实践和客户交流总结了一套评价体系，从几个维度考察不同的技术。比如能够支撑多大的数据量，能够支撑的并发量有多高，是不是以标准 SQL 做分析，如果需求变化了是不是能够灵活适应，另外明细化的分析在上面能不能支持，能不能达到时效性要求。

我们可以用雷达图清晰对比和呈现出关系型数据库（RDBMS）、搜索引擎、高性能MPP和 Kylin 的技术适配分析，进一步了解这些技术的优势及不足。

比如关系型数据库（RDBMS）就非常擅长做明细分析，因为它的数据管理做的非常好，查询有索引的字段非常快，并发率也做得很高，而且标准 SQL 是它的长处。但是同时我们也可以看到它存在的不足，例如处理海量数据时的性能并不理想。

第二种非常典型的是搜索引擎类技术，这在一些用户画像类应用上用得比较多，它的特点是通过倒排索引实现快速地检索分析，而且时效性很高，可以呈现多维度组合。但是它也有一些精度上的问题，另外这一类技术一般都不是标准SQL，如果应用接入门槛比较多，分析的维度组合非常灵活的话，它也不能做到很理想的地步。

还有一类高性能 MPP，比如 ClickHouse ，它的特点非常鲜明，例如能够支撑多维度，针对明细的查询非常快，灵活汇总性能也不错，它也能够支撑比较高的数据时效性。但是它也有一些天然不足地方，对多表做关联分析的时候，其性能下降非常严重，另外，它难以支撑海量数据的高并发汇总分析。

最后我们再来看一下 Kylin，它的特点也比较鲜明，汇总分析性能非常好，也是标准 SQL ，也能做一定维度数量内的比较灵活的多维分析。但是比如说对时效性的要求非常高，或者维度非常多的案例，处理起来也有一定难度。

总之我们可以看到这些技术都不是万能的，每一个都有擅长的方面，也有它不足的方面。但是我们面对的场景是综合的，通常在一次分析里既有汇总式分析，也有明细化分析，还有其他各种各样的灵活分析。记得我们有位客户提出过非常尖锐的问题，他说“你们这个产品汇总分析是非常快，可是我的场景里面不光是汇总还要查明细。我不可能把这个场景拆碎了，这样我做应用成本多高？”当然我们可能会想到一种思路，就是把上述这些技术给它组合起来，通过技术组合解决这些复杂场景。

但是从刚才例子也可以看到这种技术组合的成本比较高，首先，新的技术需要学习，需要培养团队；其次，不同技术的分析入口不一样，应用对接的时候就会带来额外的接入和管理成本；再次，通常新的技术在管理和运行上不够完善成熟，例如全行的平台如何保证平稳运行、有可靠的响应。所以在保障方面需要投入非常大的精力、非常大的成本，这些都是背后部分看不到的隐性挑战。

3. Kyligence突破技术融合难题

Kyligence 过去一直在思考技术融合方面的问题，在服务客户过程当中我们在不停地尝试突破。那么我们究竟有什么样的方案解决这个问题呢？

毋庸置疑，是智能数据云，它是技术融合的典型。

在上面这张架构图我们可以看到，Kyligence 融合了 ClickHouse 技术，甚至通过 Smart Pushdown™️ 到底层的数据源，用智能查询引擎把这些技术优点融合到一起。此外基于语义层之上的数据治理，利用 AI 增强引擎驱动数据分析体验的持续改善。

我们可以看这张雷达图，它把 Kylin 的能力和 ClickHouse 能力融合之后得到的更加全面的能力图谱，因为它们的优势非常互补，所以就能够适应全面的分析场景。

具体架构又是什么样的呢？我们看数据从不同途径进来，之后经过 Kyligence 产品的整合加工；Kyligence 作为统一分析入口，它的智能查询引擎会自动判断数据应该通过什么引擎来支持。这里面有个非常关键的地方，因为是通过Kylin 接入数据，所以可以支持星型模型、雪花模型等维度模型，从而能够大规模减少汇总表加工，让数据加工成本尽量降低；并且这样的多维模型还具备很好的灵活性和适应性。甚至还有一种使用模式是让数据直接进入到底层 ClickHouse 存储引擎，从而进一步提高时效性、利用 ClickHouse 自身一些特有的特性。整个方案综合了不同技术的优点，同时利用 Kyligence 的基础设施保障可靠、平稳运行、具备弹性伸缩能力，能够赋能全行业务场景，甚至是赋能对外输出。

有了 Kyligence 这样的基础设施，用户将会经历前所未有的全新分析体验，会发现数据分析越用越顺手。比如应用刚上线的时候可以快速冷启动，即先做一个基本设计、利用 ClickHouse 存储引擎做性能托底，支撑上线初始阶段的业务分析；随着业务人员不断使用，AI 增强引擎在后台学习分析模式和数据特征，并持续优化、智能加速，渐渐地业务人员就会体会到越用越快、越用越爽。

总结一下这个方案有哪些优势呢？

更低的开发成本，可以完全颠覆传统的汇总表开发模式；支持更丰富的分析场景用户的查询体验会更好；能够通过云基础设施来弹性支持全行分析；智能引擎持续动态优化、不断改善用户分析体验。

最后我们看一下通过某些场景实测出来的的具体表现。左上角这张图是单纯用 ClickHouse 的情况，蓝色是 8 亿数据量，白色是 24 亿数据量，我们看到随着数据量增长性能没有明显变化，也就意味着对于明细分析场景有很好的适应性。另外我们再来看一下并发情况，右上角也是单纯用 ClickHouse 的情况下的并发情况，我们可以看到不同的并发数对查询时间有显著影响，但是反观右下角这张图，Kyligence 引擎随着并发的增长，性能没有特别明显下降，也就是说我们将 ClickHouse 与 Kyligence 结合之后不但可以实现高性能，而且能够支撑高并发。

点击这里观看完整版演讲视频，下载演讲资料。

关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合作伙伴。