【案例分享】为银行搭建业务分析与大数据之间的快速通道

Kyligence 智能大数据分析技术，帮助业务部门跨越数据获取的鸿沟，提升数据分析的效率，有效驱动业务分析自主化，充分释放 IT 价值，让专业的人做专业的事情，各司其职，多方合作，快速响应数据类需求。

——资管数据部 IT 负责人

摘要

随着银行信息化建设的高速发展与大量业务数据的积累，越来越多的大数据平台也相继搭建与发展起来。然而 IT 的工作变得越来越重，在维护原有数据仓库、数据分析平台的同时，也需要支撑大数据平台的系统建设和应用迁移，还需要给业务部门准备各种数据和分析报表。

本文将介绍最有影响力股份制银行的资管部门如何利用 KAP 智能化大数据方案，构建自助分析的能力，使能业务分析人员自主取数，加速业务部门对数据灵活分析、快速响应的需求，提升了整体数据分析效率，并有效解放了科技部门的生产力，更多工程师得以专注在构建 AI 等更加前沿的技术上。

1. 业务背景

该企业是国内金融科技银行的领头羊，以技术创新为驱动，服务于银行金融业务。其服务范围包含现金管理，跨境金融，融资租赁，资产托管等。

其资产管理部门主要负责投资管理等业务，涵盖代客资产管理，金融市场风险管理，资产项目管理和风险管理等。包括贷款种类的设置、确定；贷款及投资方法的选择、制定；资产的评估、处置、和利息回收；贷款及投资计划的编制、执行等。是银行之中的重点业务部门。

近年来我国资产管理行业发展迅速，银行理财逐步成为国内规模最大的资产管理子行业。市场的发展对企业的业务能力提出了更高要求，封闭型和预期收益型产品向结构型、开放型、净值型等市场化定价模式转型已是大势所趋。

如何精准地提供满足市场发展的净值型产品，指导渠道的销售；如何维护银行理财系统的稳定，平衡资产端的投放，同时提高资金的流动效率；如何有效发掘资产端和负债端的最大化利差，同时提升风险管理的能力，已成为资产管理发展趋势中需要深入考虑的问题。同时，资产管理也急需为客户提供个性化的资产管理服务，以服务于多元化需求。有效预防“资产荒”与“资金荒”的行业问题。加强或重塑投研体系和风险管理体系已成为资产管理的发展重点。

为了满足资管部门如此众多的业务分析需求，从数据中获取大量丰富的信息，辅助支持决策，企业需要打通资产管理部各系统之间的数据屏障并进行相应的融合。

该部门于 2017 年针对原有数据平台进行了改造，结合大数据的技术优势与可扩展性，完成并上线了资管大数据集市及相关数据分析应用。在提高数据处理集中化的同时，也极大减轻了 IT 人员的负担，同时优化了业务用户分析数据的流程，提升了数据分析效率，以创新科技来不断提升企业服务能力，抓住市场机遇。

2.用户案例

2.1 应用场景

以下例举该大数据平台上已实现的两块多维主题分析。“资产负债分析”提供给业务部门自助分析和取数使用；“企业门户应用分析”通过提取并分析门户系统的日志数据，供 IT 部门监控与改进 IT 系统建设。

• 资产和负债分析

通过分析银行的资产和负债交易情况，统计并细化资产各分类状况，如现金、拆出、逆回购、直接投资债券、主动创设资产等，以及结合拆入、正回购、理财产品、结构性存款等负债类别，监控各资产和负债的健康状况，有效设置预警策略。同时优化资产配置，发掘优质产品类型。可分析的指标包含加权平均期限、剩余期限、资产买入利率、资产持仓利率、资产投资余额、负债端募集本金、负债端管理余额等。

资管部门通过有效利用系统中的业务交易数据，进行资产和负债的监控与分析，洞察资产负载的分布及趋势，提升企业对资产项目的管理能力与风险的防范能力，对于每一笔投资业务都能做到事前有依据，事中有监控，事后有分析。通过数据信息有效辅助业务的决策。

• 企业门户应用分析

利用采集的企业门户日志信息，收集用户使用习惯与系统运行状况，不断提高系统的健壮性与门户的优化，使IT部门能做到对系统进行有目标的改进和投入。例如发现耗时最长／最短的功能；使用频率最多的业务功能；用户使用的操作系统、浏览器分类；报错最多的业务模块，以及错误分类；活跃用户统计分析；系统忙／闲时段分析等。

2.2 问题与痛点

资管大数据集市是由该银行资产管理部进行建设，实现部室内外系统数据整合，并提供统一的数据服务平台。主要包括跨系统报表、多维数据分析、大数据分析等。

在大数据平台建设之前，数据大多存放在 DB2、Oracle 等传统关系型数据库中，业务人员需要分析数据或提出新的报表需求时，通常都是由 IT 人员拿到需求之后现场开发，再将整理好的数据发送给业务部门。由于数据存储分散、再加上数据量越来越大，以及业务数据需求的临时性和不确定性，这种方式的工作效率越来越低，业务获取数据的周期越来越长，IT 人员的工作量也越来越重。

原数据分析平台遇到的问题如下：

1. 数据分析流程冗长。业务人员对任何已有报表的调整需求，都要严重依赖 IT 人员重新开发并发布，流程复杂，效率低下。
2. 报表查询变慢。随着数据量增加，已有的业务报表查询时间越来越长，单个报表查询长达数分钟。
3. 非结构化数据分析难。对系统日志等非结构化数据的分析需求难以实现，无法快速满足新兴业务场景。
4. 原平台扩展性差。原有数据仓库的性能遇到严重瓶颈，可扩展性极低，受制于国外厂商，成本高昂。
5. 严重依赖 IT。大量 IT 资源被浪费在重复性的工作中，无法释放出来使能新技术、新平台以支撑快速发展的新业务。

3. 解决方案

借助此次大数据平台的建设机会，IT 部门通过多方技术调研，方案研究，性能对比，最终选定以 Apache Kylin 为核心的企业级智能大数据分析平台 KAP 做为提升大数据分析能力的利器，构建业务人员和平台内数据之间的桥梁，新的架构和数据分析模式使得数据分析变得极为高效，使能了业务自主化分析能力。

新的大数据平台架构为，Hadoop + KAP + Tableau + 企业门户。以前存放到 DB2、Oracle 中的各系统数据，通过集中处理之后统一存入到 Hadoop 平台；并在 KAP 中依据不同的业务创建不同主题的数据集市和立方体，然后将业模型发布给业务分析人员。KAP 智能分析平台通过数据集市，将生硬的、技术化的表和字段等转换为业务人员能够理解的业务指标和分析维度，使得业务分析人员能够轻松通过前端 BI 工具如 Tableau 等对相关数据集市进行自助分析，通过可视化的拖拽方式制定分析思路，依赖于 KAP 在超大规模数据集上的高速 SQL 查询能力，可以快速生成分析结果，进一步优化分析思路和业务决策。

平台上线后，数据分析流程也被重新定义，如上图所示，原有复杂的分析流程被现在自主的流程取代，将原有几个星期甚至几个月的繁重开发，缩短为以周甚至以天为单位的流程，大大提升了生产效率。

• IT 部门：

Setp 1. 基于业务需求，IT 部门准备数据并在 KAP 中设计基于主题的数据集市。创建好的数据集市会包含该主题中可能用到的各种分析指标和维度，并且转换为业务人员能读懂的名称。

Setp 2. 在统一的任务管理平台上为当前的数据集市创建定时处理任务。用来定时更新数据集市内的数据。（可按天，小时，分钟等）

Setp 3. 通过前端 BI 工具（如 Tableau）连接 KAP，依据 KAP 中定义的模型关系制作数据模板，并发布到 Tableau Server 上。

至此 IT 部门的工作就结束了，剩下的就可以交给业务部门来自助使用，整个过程不需要IT的报表开发人员参与。平均一个数据集市的设计对于 IT 部门所耗费的时间仅以周甚至天来计算。

• 业务部门：

Setp 1. 业务分析师通过前端 BI 工具（如 Tableau）连接到 Server 端 IT 已发布好的 KAP 数据集市模型。通过拖拉数据集市中维度和度量指标的方式，进行即席查询和数据分析。

Setp 2. 业务分析师通过分析和探索数据后，将对业务有重要意义的报表保存和筛选出来，直接发布到 BI Server 上。然后通知业务的门户管理员将新报表地址配置到企业门户中，并设置好相应的访问权限。

随后，业务部门的领导以及所有业务用户，就能立刻通过统一的企业门户直接访问业务分析师为他们准备的数据分析结果，来辅助业务的决策。

整个数据获取、发布和查看的过程中，完全不需要 IT 的参与，也不需要等待 IT 的响应。完全由业务部门自主进行，效率比之前的流程提升了数十倍。数据获取的周期大大缩短，从而提升业务决策的效率。

业务部门自主定制的数据分析门户（无需 IT 参与）：

4. 项目价值

相对于原有的业务数据分析流程，新的平台架构对业务人员进行数据分析的便捷性以及耗时周期有了更全面的改善，同时不再需要重度依赖 IT 人员的时间。

新的数据分析模式优势如下：

• 流程精简。业务部门可以随时进行自主化的数据分析和探索，以及管理、更新门户内的报表。不再需要等待IT项目周期和资源安排，能够快速响应业务的需求，充分提升数据分析的效率。由于流程的精简，以及高度的自主化，业务部门对数据分析的过程从传统的数月可以缩短至以周为单位。
• 数据查询响应快。Kyligence 智能分析平台既是打通底层数据平台和最终用户之间的桥梁，又可以用来有效解决 Hadoop 平台上查询效率和并发量的问题。之前传统数仓上查询需要等待数分钟的报表，在大数据平台上的查询性能变为亚秒级，通过 KAP 达到至少百倍的响应速度提升。
• 优秀的平台可扩展性。新的大数据平台充分利用 Hadoop 的可扩展性，集群数据容量和计算能力可以轻松扩展至上千个节点。KAP 通过直接在 Hadoop 上构建数据仓库和集市模型，企业不用再担心数据量增长而带来的性能与扩展问题。同时，一套平台即可支持结构化和非结构化的数据分析。
• 充分保障数据安全性。有效利用业务网和办公网的网络隔离。数据的加工、处理操作在企业的业务网内进行，在办公网只拥有对数据查询的权限，在数据放权的同时又能充分保证大数据平台内数据操作的安全性。
• 释放 IT 生产力。工作流程简化，人员消耗精简，IT 人员和业务人员的工作效率都得到极大提升，更多的资源和时间将能够有效投入到其他新技术、新平台的建设中。

项目小结：

相比于传统的数据平台架构，大数据平台具有更好的可扩展性，能够满足未来五到十年新业务发展带来的数据容量和性能扩展需求。

Kyligence 提供智能大数据分析技术，可极大加速查询效率，提高并发量，且查询性能不再与原始数据量相关。解决了原有数据平台随着数据量增长而变慢的历史问题和后顾之忧。

该资管大数据平台借助 KAP 生成的数据集市模型提供自主分析能力，精简了数据获取的流程，降低了数据分析的技术门槛，一套模型可以实现主题内的多个维度分析，极大方便了业务用户的自助服务，数据分析高度自由化，同时大大减轻 IT 的负担。

5. Kyligence 及 KAP 简介

Kyligence 是由 Apache Kylin（中国首个 Apache 顶级开源项目）核心团队创建的,专注于大数据分析领域创新的数据科技公司，提供基于 Apache Kylin 的下一代企业级数据仓库及商务智能大数据分析平台和解决方案。Apache Kylin 是Hadoop 生态的重要成员,是首个完全由中国团队贡献和主导的Apache软件基金会顶级开源项目。开源三年来，Apache Kylin 已经被国内外超过 1000 家公司所使用，包括 eBay，Expedia，百度，网易，京东，美团，唯品会等国内外大型互联网公司，以及众多来自电信、金融、制造等传统行业的领先企业，包括陆金所、太平洋保险、国泰君安、华泰证券、华为、联想、OPPO、中国电信、中国移动、中国联通等。Kylin技术被广泛应用于大数据分析平台、OLAP 多维分析、数据服务平台、自助查询平台、客户画像、在线报表等多种大数据分析场景中。

Kyligence Analytics Platform 大数据智能分析平台（以下简称 KAP）是基于 Apache Kylin 的企业级软件产品，在超大数据集上提供亚秒级分析的能力，同时为业务用户、分析师及工程师提供简便、快捷的大数据分析服务，拥有超高性能、免编程开发，多协议支持、非侵入式部署等突出优点，并且 KAP 在企业用户所关注的应用场景丰富、实施效率、安全可控、存储效率、性能优化、自助式敏捷 BI、系统监控等方面进行了全方位的完善和创新，是目前业界领先的大数据智能分析平台解决方案。

联系我们：info@kyligence.io