数据仓库的下一阶段该是什么？

1. 前言

在大数据时代，大家都意识到数据已经成为了公司宝贵的资产，但如何让数据发挥价值，一直困扰着大家。数据技术人员需要长时间去理解某一个业务，业务人员也很难使用现代化数据分析工具赋能业务。那么，如何让公司数据能够快速和业务融合起来成为了广大数据从业者和数据服务厂家一直以来思考的问题。

2. 数据赋能业务的“拦路虎”

回想起Hadoop从2006开始独立发展，到现在已经16年了，这些年来涌现出了很多数据技术栈，从数据接入存储，到数据计算分析，可以说是百花齐放。

但在数据融入业务的过程中，逐渐也显现了一些问题。

我们经常会听到这样的声音：
“你先提交一个数据需求流程吧，我们评估一下开发工作量，排期开发。”

“这个不是我开发的问题，你提的这个指标和小李提的统计逻辑不一样啊”

“李老师，你说的这个指标定义中的XX是什么意思呢，这个数据源从哪里取值？”

“今年我们这边的预算已经用完了，以后再提数据需求，需要你们单独对我们进行结算的。”

那么我们为什么会经常有以上这些“抱怨”，总结一下，无非以下几点：数据开发流程长、数据统计口径不一致、技术人员与业务人员协同困难、开发运维成本高。

这就导致我们数据开发人员，永远都有做不完的“提数”需求，数据产品永远有开不完的会，到了年底还要写数据为公司创造多少业务价值。

3. 数据人的挣扎

资深的数据人当然知道现在数据赋能业务中的“拦路虎”，同时也做了一些尝试。

3.1 优化数据开发流程

完整的数据开发流程具备以下6个阶段：提出阶段、设计阶段、开发阶段、测试阶段、发布阶段、运维阶段。

以前，也许我们会在不同平台进行各个阶段的管理，比如数据建模是用的1个工具，数据开发1个工具，数据测试一个工具，现在我们搭建了统一的数据平台，形成了设计开发测试流水线的工作形式。

3.2 业务需求接口人

建立业务需求接口人，涉及某个领域的数据需求，统一由改角色向数据团队提交开发申请。

3.3 技术融入业务

要求数据开发人员定期和业务共同办公，了解整个业务流转过程，提升对业务的理解能力。

3.4 降低成本

从技术上建立冷热数据存储机制，优化压缩算法，建立数据生命周期等。

可以说，在某些方面，确实让数据开发人员轻松了一些，但是数据赋能业务价值真正提升了吗？

4. 数据赋能业务的探索

数据仓库的下一阶段该是什么？

4.1 数据中台

数据中台前几年很火，最近温度好像降了下来。回溯一下，当初提出来数据中台这个概念是为了实现数据的分层和水平解耦，提供全域的数据服务。主要包括以下4部分：数据资产、数据治理、数据模型、数据服务。

数据模型，就是我们熟悉的数据仓库中的模型，按照数据仓库规范分层开发模型，实现数据的标准化。

数据资产，在数据仓库中我们已经建立了一些模型，但是只有打通数据孤岛后才可以称为资产。

数据治理，为了保障数据资产的完整性、准确性、一致性、及时性，为业务提供统一的、准确的指标保驾护航。

数据服务，提供统一的数据服务在线查询视图，让开发者能够快速、简单的访问数据服务。

数据仓库是“管理数据”，数据中台是“经营数据”，数据中台是为了提供服务而生，也有说是为了前台而生，数据中台的使用对象仍然是开发人员。

对于一个企业来说，业务人员才是“规则制定者”，只有让业务人员自己把数据指标用的“得心应手”，才能真正的实现数据赋能。那么一个面向业务人员的，“零门槛”操作的数据指标平台，将会成为企业实现全面数字化转型的必选项。

4.2 指标中台

现代管理学之⽗彼得·德鲁克有⼀句⾮常经典的话：“What gets measured gets done”，意思是只有一件事情能被量化，才能够被解决。就好⽐家⾥有了⼀台秤，才能衡量减肥的效果。那么如何量化管理企业呢，这个统⼀的标准去衡量业务，就是指标的由来。

所以，从业务经营角度来看，指标可以衡量业务发展的情况，也为未来业务方向的决策提供重要的支撑，指标中台的主要使用对象是业务人员。

面向业务人员的平台，很多数据人也都做过尝试，比如很多“数据自助分析平台”，在推广过程中经常会听业务人员说“你这个工具还没我的Excel好用”。所以，面向业务人员使用的平台门槛一定要低。就要能达到现在普通人使用手机数码相机就能像专业人员用单反相机拍出一样漂亮照片的效果。

结合我们现阶段数据赋能业务遇到的问题，指标中台应该能够具备以下4个特点：⾼效协同管理、业务敏捷提升、数据⼝径⼀致、开发成本降低。

⾼效协同管理，用户可创建 Goals(目标)，并通过多层级的目标结构来管理指标，形成指标体系，实现管理的可观测性，完成从数据到管理决策的闭环。

业务敏捷提升，业务人员可以使用无代码、低门槛的指标管理平台，借助平台自动化构建指标能力和行业指标模板，快速迭代赋能业务。

数据⼝径⼀致，建立统一指标目录，使得组织能够轻松定义和管理指标，形成统一的指标口径，并进一步通过治理，增强数据的可信度。

开发成本降低，业务人员自助创建、复用指标；数据团队摆脱繁重的 ETL 工作，只需聚焦指标管理；企业人效大幅提升。

5. Kyligence Zen 指标中台

9月15日Kyligence秋季论坛上发布了 Kyligence Zen 指标中台，以目标管理、指标目录、指标自动化、指标 API 四大核心能力助力企业实现智能指标驱动的管理与决策。

指标目录：统一指标体系是企业高效管理和沟通的核心。Kyligence Zen 通过指标目录能力，使得组织能够轻松定义和管理指标，形成统一的指标口径，并进一步通过治理，增强数据的可信度。同时，Kyligence Zen 的指标批量导入能力，能够方便的从现有 BI 系统、数据仓库系统等快速导入并自动生成相关指标定义等。

目标管理：任何指标都是某个企业管理或者业务目标的数字表达。Kyligence Zen 独创的目标管理与指标对齐功能，使得组织能够从管理者视角，将企业管理分解为相关目标，并设置合理的结果或过程指标，并持续追踪、对比，进一步驱动组织的数字化转型。

指标自动化：快速变化的业务需要数据平台有足够的敏捷能力。Kyligence Zen 特有的指标自动化能力，依托 Kyligence 专利的 AI 增强引擎，自动从源数据库、数据仓库、数据湖等的 SQL 历史和使用日志中，动态提取数据集市和相关指标、维度等信息，快速生成和持续维护指标目录，自动捕获最有价值的指标和数据点。Kyligence Zen 也能够通过查询历史中的更多信息，向业务用户，自动推荐各种模式下的指标，例如最热指标、最重要指标等。

API 集成：开放 API 是现在企业进行组装式分析的重要基础。Kyligence Zen 提供的开放 API 接口，能够轻松完成和各类管理、协同、BI 及可视化工具等的对接。赋能企业自动化各类管理、分析和工作流等。开放的 API 也使得第三方可以轻松整合 Kyligence Zen 的核心能力，或者构建各类应用和工具，极大释放统一指标平台的潜力。

Kyligence Zen 围绕指标做相应的洞察、分析，甚至是一些指标的归因。为面向业务人员提供一种数据SaaS服务，让企业能够以最快降低成本的方式，把数据用起来，能够帮助用户快速构建整个数字化的指标体系。

6. 指标中台的展望

指标中台并不是要完全替代数据仓库，二者是集成与合作的关系。数据仓库作为指标中台的上游数据源。所以从阶段上来说，建议从业务角度明确所需要的业务指标，然后接入数据仓库的数据，并在指标中台中定义和管理指标。那么，数据处理平台和指标中台之间的协作也需要更加便捷。

对于AI方面的支持，现在很多业务除了需要指标，还需要进行一些AI方面的深度数据挖掘分析，就像以前我们ETL任务都是离线的一样，随着数据技术的发展和业务的需求，有了越来越多的实时流处理任务。那么，对于指标中台来说，提供全方面的AI分析能力需求也会变得越来越多。

生态的建立，任何技术平台的使用推广，需要建立相应的行业生态，否则会很难进行推广。有了生态，才会带动业务上下游一起来使用平台，逐渐形成标准，也许会发展成为“行业中台”，这样的话，对于整个行业的业务赋能和效率提升意义就更大了。