智能数据赋能全球金融机构数字化转型

对于金融行业来说，高效使用数据就像电力一样，已经成为数字化转型的“新基建”。各大金融中心都在持续增加人才和资金的投入，日以继夜地创造着关于客户、市场、定价等的方面的智能信息。据彭博社报道，一些银行将年收入的 10% 以上投入在技术研发以及信息化建设等方面，不过一些 CFO 对其效果持怀疑态度，甚至质疑其中近一半的支出都被浪费了。

那么，企业到底如何提高数据分析效率呢？其实关键就在于识别和管理最有价值数据，让数据实现智能化。这也就是说，企业需要为数据分析师、数据科学家、银行家、客户以及前线业务人员等员工，提供一个统一、实时、可靠的智能数据平台。

数据如何实现智能化？

总的来说，实现数据智能化的方式可归为以下三点：

• 通过对大量数据的结构化处理等加工后，为企业提供对历史数据和实时数据的洞察；
• 不需要复杂的理论基础，即使普通用户也能见微知著，从蛛丝马迹中找出数据变化的规律；
• 大量的创新人才，来设计和落地算法让数据走向智能。

通过以上三点，企业可以生成一个持续不断的智能数据源，来帮助自己在激烈的竞争中取得优势。

举个最简单的例子，当有了描述性信息和元数据后，数据其实就变得更加智能化了。进一步来说，数据如果增加了更丰富的元数据并创建了更多结构，比如数据质量、重复数据删除等，那么数据工作者要做的事情将会更少，并且在从智能数据寻求问题的答案时，就能获得更准确、更优质的回答。

对于大部分企业而言，数据准备和元数据管理已经是现代数据工程中不可或缺的一部分。随着越来越多的数据准备工作能够实现自动化，数据工程师的角色也在不断发生变化，他们在数据的使用方式及呈现方式会产生越来越多的影响。如果数据工程师能够对数据集进行智能的处理，加速数据查询以发挥最佳性能和效率，数据就会变得更加智能化。

大家都知道，基础的数据分析可以提供“正在发生什么”，以及“为什么发生”的多维和动态的数据视图。这就像我们日常提问题一样，一个问题往往会引发另一个问题，当回答了这一系列问题后，最终我们就会对最初的这个话题产生了多个视角。随着时间的推移，在积累了很多话题之后，查询模式就出现了。当我们积累了相关的查询模式，并且不断去优化这些查询模式，就相当于为未来更重大和困难的问题提前做好了准备。一个好问题会带来更多的好问题，而这些好的问题就能不断去智能优化查询到的答案。为了更好地说明数据智能化的优势，本次我先来分享金融行业的两个典型应用案例，希望大家可以有所收获：

• 支付系统中的欺诈预防：在改善客户体验的同时防止支付欺诈；
• 金融应用的使用分析：与客户行为档案不匹配的交互可能表明存在欺诈行为或用户流失。

这两大应用场景都是全球金融行业数字化转型中不可忽视的重要场景。

场景一：支付系统中的欺诈预防

一般情况下，当银行客户在度假期间使用信用卡时，如果银行的支付系统检测到异常情况（例如来自不同的国家），往往有两种解决方案：第一，拒绝该卡的消费；或者是第二种，让客户确认自己的身份。

哪种解决方案会给客户提供更好的结果呢？是立即通知您并提供解决方案的银行，还是立即拒绝付款的银行？答案显而易见，是后者。据数据显示，在信用卡被拒绝消费后，超过三分之一的消费者会放弃购买行为，或转向使用竞争对手的信用卡。对于客户来说，这是使用体验非常重要的一部分。对于银行而言，在防止欺诈和赢得客户信任之间取得微妙的平衡至关重要，因为这中间的任何失误都可能会给银行带来损失：

• 一旦存在欺诈行为，资金进入了极其复杂的全球支付网络，就几乎不可能收回资金。事实上，据数据表明只有不到 25% 的欺诈损失能被成功追回；
• 如果选择直接拒绝用户信用卡的消费，可能会给银行带来比欺诈本身更大的代价。截止到 2021 年，银行由于错误拒付造成的损失预计达到 4430 亿美元，比欺诈本身造成的损失高出了近 70 倍。

对于大部分金融企业，传统的基于规则的拦截欺诈方法是不够的，利用 AI/ML 来提高企业级别的自动水平来进行实时打击欺诈，是一种行之有效的办法。

为了达到上述目标，企业需要提供 AI/ML 算法模型。这些模型成功是基于访问大量的训练数据，而高质量和海量的数据能有效提高所用统计模型的准确性。例如，为了识别复杂的、未曾见过的欺诈策略，企业往往需要数以千亿计的交易和相关数据，才能梳理出触发欺诈警报的微妙细节。

使用新数据管道提供功能

特征工程(Feature Engineering)是 AI/ML 的基本组成部分，需要数据科学家、数据分析师和数据工程师来合作，结合相关领域知识从原始数据中识别特征（数据或信号的独特片段），再基于这些特征来进行分析和预测。

一个 AI/ML 模型就可能有成千上万的特征用于确定支付交易是否合法。随着新数据或者新型欺诈的出现，特征也在不断地完善，因此企业需要一个能够处理这种级别的，并且能够持续变化的可扩展架构。随着数据科学家根据新特征、新模型或更复杂的查询数据，这些数据的利用方式也在不断变化。

为了提供一个能够准确评估单个交易是否存在欺诈的详细、微妙的视图，可能就需要数百条提供数据的渠道。一条数据管道可能提供实时和历史的金融交易数据，而另一条可能提供生物特征数据。这些数据可能就是普通的电子邮件，也可能是利用暗网一样的黑科技，总之它们都可以用来帮助丰富模型。为了捕捉不断变化的支付欺诈方案，数据管道需要是新鲜的，这也意味着企业所使用的数据需要是历史数据和实时数据的准确组合。

场景二：用户行为分析

如今超过三分之二的数据来源是个体，不同的个体在使用产品或获取服务时，会进行一系列行动，这就是我们所说的用户行为，而用户行为分析则是指对用户行为数据进行分析。

对于银行而言，应用程序的用户行为分析是至关重要的。通过这些分析，银行能够了解其客户是如何与银行应用程序进行交互的。一个基于云计算的银行应用程序往往会有数万用户使用，他们每天将产生大量的用户行为数据。而这些场景的异构特性都对数据基础架构提出了一系列复杂的要求。即使对于资深的数据工程师来说，在处理不同的查询请求的同时，还需要抽取和转换大量的使用数据，也是很困难的。

再考虑到上述数据管道的要求，优化这些管道上的查询就更加重要了。银行需要检测欺诈场景，同时增强用户体验，在复杂的场景和大规模的数据下，银行需要 AI 增强的能力，来进一步优化查询。

查询自优化加速数据分析

如今，银行每天会生成数十亿应用程序使用记录，消耗数 TB 的存储空间，每天可能就会有数千亿条记录可供查询。将这些数据与内外部的其他数据源（例如 CRM 或人口普查数据）相结合，才能更好地为数据打上有效的特征或者标签。

对于企业内部的员工而言，每个团队都希望有自己的数据视图。产品专家可能想知道谁在使用他们的应用程序，以及这些用户的相关数据，因为这些都提供了用户的统计特征，其他部门则可能需要另外的数据源。那么，企业就需要将这些数据源与使用情况数据相结合，来提供不同的数据视图。

除了表面问题外，这些数据分析师、科学家更想知道背后更深层次问题的答案。要做到这一点，基础的数据分析是无法满足需求的。企业的数据平台需要使用预测分析或机器学习来对所有的查询进行自优化。这些优化的基础是数据集要位于同一基础架构中，从而最大限度地缩短查询响应的时间。在这种大规模的数据集上，数据虚拟化等技术可能就收效甚微了。理想的数据基础架构应该是可以随着时间的推移来自动学习查询模式，再根据需要自动集中数据，从而有效减少数据工程师和运维工程师大量重复和低效的工作。

智能数据平台支撑数字化转型

无论是支付系统的预防欺诈，还是用户行为分析，都是金融机构数字化转型中不可避免的重要场景。为了解决上述场景的问题，相较于采购或自研更多新的工具而言，企业将资金投入在构建更强大的智能数据平台可能会带来更好的效果。一个统一、实时、可靠的智能数据平台能够提供可指导分析和算法的智能数据，帮助数据分析师、科学家以及工程师实现更加高效的工作，从而助力企业优化整体性能和成本，推动企业数字化转型。

关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个金融、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合作伙伴。