Kyligence 2024 数智论坛暨春季发布会:以 AI 构建数智竞争力 即刻报名

CSDN Meetup 回顾 丨从数据湖到指标中台,提升数据分析 ROI

Author
Kyligence 合伙人兼副总裁李栋
2022年 7月 19日

近日,Kyligence 合伙人兼副总裁李栋受邀出席 CSDN 云原生系列在线峰会。在第 13 期 “ 现代数据栈峰会 ”上,李栋从指标中台的趋势和背景出发,围绕指标中台的真实案例,对 Kyligence 实现指标中台的过程及提升数据分析 ROI 的经验进行了详细分享。

1. 什么是“指标中台”

指标是衡量事物的标准,数据分析的关键就是找到正确指标并获得洞察,并开展经营决策。指标中台(Metrics Store)是当下流行的技术之一。

在传统的数据分析场景中,往往会把数据统一接入到一个数据平台,例如数据湖、数据仓库等技术。通过一系列 ETL 开发后,将数据对接到下游的 BI 或自研的数据应用,数据分析师或业务用户通过查看报表和数据应用来查看指标数据,并对指标进行洞察分析和开展业务决策。

这种情况下,所有业务指标分散存储在各个 BI 报表或应用系统当中,当指标数、用户数越来越多时,数据管理和指标管理会产生很大的混乱。例如指标在不同报表中出现同义不同名、同名不同义、数据口径不一致、时间对不齐等难题,极大降低了业务用户对数据的信心。

指标中台的出现,旨在通过一个平台统一管理所有业务指标,以及指标背后的数据。指标中台不仅可以解决前面提到的技术挑战,赋能业务人员更自助、更有信心地使用数据,还能帮助 IT 团队创造更高业务价值。

2. 影响数据分析 ROI 的障碍

国内某一线互联网企业,早年开始数字化建设,并搭建了数据湖来汇总存储各个来源的数据。按照传统的方式,所有的源表(ODS表)落到数据湖上后,业务用户无法直接使用这些源表,需要经过 ETL 开发宽表和聚合表才能被下游业务使用。

这就带来了两方面的问题:

  • 宽表爆炸:最初仅有 5.7 k 张 ODS 表,却膨胀至近百万张宽表和聚合表,给数据存储和数据管理带来极大负担;此外,每个宽表都需要 ETL 开发和管理工作,对计算资源和管理复杂度也是很大挑战;
  • 难以使用:这么多的宽表和数据表,用户在使用时很难快速定位需要分析的指标存在哪张表上,数据使用的效率很低。

由此可见,影响数据分析 ROI 的障碍主要是:

  • 指标口径不一致:数据量很大,但缺少信任;
  • “浑浊”的数据湖——宽表爆炸,数据存储和ETL任务冗余;
  • IT 成本&时效性—— IT 成本和开发效率随数据量和用户量增长而难以控制。

3. 通过指标中台解决上述挑战

传统在数据湖中加工和分析指标的方式,是经过 ETL 为每个指标开发宽表和聚合表(如下图所示)。虽然很多指标背后的数据是可以复用的,但因为需求来自不同业务部门,缺少数据共享,最终只能重复开发,生成大量冗余的宽表和聚合表。

使用指标中台后,所有的数据指标被统一管理,并形成指标体系,如基础指标、衍生指标等。如果不同的指标背后对应的数据模型是同一个,那么指标的加工和计算过程是可以复用的。如果是同一份数据按不同口径服务不同业务,则通过衍生指标灵活响应业务需求,既能满足业务多变的需求,又能避免数据冗余导致的宽表爆炸。

由此可见,在指标中台里“指标”成为数据和业务交互的主体,通过对“指标”的标准化,形成数据开发和管理的标准化。

下图展示的是某银行企业使用指标中台前的状况。银行业务人员需要对用户的消费行为进行分析,从交付指标到获得相关数据,通常需要 12 个工作日甚至更长时间。数据开发效率低、需求交付周期极长。

我们来看看该银行使用指标中台后的情况。如下图所示,指标中台允许非技术人员自助管理衍生指标,并通过拖拽现成指标的方式创建仪表板,端到端交付时间减少 50%,从需求到开发,流程轻松省时、企业人效大幅提升。

4. 指标中台的能力

从技术角度来讲,指标中台的能力主要展现在四个方面。

  • 指标目录:统一管理所有业务指标口径

从数据湖的表开始定义指标,包括基础指标和衍生指标,并将所有指标管理在一个平台中,实现业务指标的统一管理。

  • 指标自动化:以指标管理数据,消除宽表操作

根据指标定义的逻辑对底层数据进行加工、预计算,并根据指标所在的数据模型进行合并,消除宽表爆炸。若是指标很少被访问或是不再被访问,可以自动清理指标数据的预计算结果。此外,系统也会智能地向用户推荐常用的或关联度高的指标,提升找指标的效率。

  • 目标管理:用目标管理指标,形成指标体系

管理指标的目的是帮助企业实现业务目标管理的目的,因此通过管理目标的方式管理指标,形成指标体系,可帮助企业更好地达成目标。

  • API 集成:构建数据应用,一致消费指标数据

当指标和目标完成定义,系统需要一个出口。通过标准的指标 API ,让用户轻松构建数据应用,为应用提供一致的数据来源,消除指标割裂和数据孤岛。

5. Kyligence 指标中台产品实践

Kyligence 基于指标中台实践经验和 OLAP 基础能力,上线了智能指标驱动的管理和决策平台 Kyligence Zen。在本次演讲中,李栋以零售订单分析场景为例,演示了该产品的主要功能。

导入数据

只需把订单数据上传到 S3 ,并输入 S3 链接地址,就可以快速把数据接入到指标中台。

导入指标

通过 YAML 文件定义好销量和利润等零售业务指标,即可一键导入。通过这种方式,可以轻松地把业务指标从 BI 平台批量接入指标中台。

管理指标

所有指标以卡片的方式被统一管理。对于零售企业,无论是集团管理人员还是门店店长,看到的都是同一套指标,以及同一套数据。

管理目标

为了更好地使用指标支持业务决策,可以创建目标来管理指标,从业务角度管理指标体系。

指标可视化

所有指标还可以灵活地制作可视化仪表盘,方便业务人员自助查看指标和进行归因分析。除此之外,指标也可以通过 API 对接其他数据应用。

6. 总结

指标中台可有效解决数据湖上数据分析效率低下的问题,从而将 IT 团队从重复的报表开发工作中释放出来,投入到业务指标体系的管理和持续运营之中,并创造更多业务价值,大大提升企业的人效。

关于 Kyligence

上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办,致力于打造下一代企业级智能多维数据库,为企业简化数据湖上的多维数据分析(OLAP)。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能,Kyligence 提供成本最优的多维数据分析能力,支撑企业商务智能(BI)分析、灵活查询和互联网级数据服务等多类应用场景,助力企业构建更可靠的指标体系,释放业务自助分析潜力。

Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业,并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。

添加企微

kyligence
关注我们

kyligence