关于语义层，你不得不了解的二三事

我是 Angela

是一家大型零售企业的 BI 经理

我的日常是👇

除了老板

还有……

还有……

Angela 每天在老板和同事的紧急需求中

挣扎彷徨...

Angela 的故事其实是众多 BI 经理的一个缩影，在当今的大型企业中，不仅是 BI 经理，包括数据工程师/分析师等在内的大数据从业人员都受困于数据分析、数据治理等带来的各种难题。

对于正在数字化转型的企业而言，前所未有的数据体量、数据复杂度和分散程度都使得数据管理充满挑战。这些本该产生巨大价值的数据，被隔离在本地计算机、数据中心以及云服务中；同时，这些数据又缺乏统一的指标定义，企业难以有效挖掘数据资产的价值。

数据仓库、数据湖等都在一定程度上满足了企业对数据分析的需求，但面对一座座"数据孤岛"和一群像 Angela 这样受困于数据分析和管理的员工，企业究竟如何才能连接各种数据源，解决上述难题，让数据真正发挥价值呢？

这里就不得不提到“语义层”（Semantic Layer）这个概念了。

什么是语义层？

从业务人员的角度看，语义层就是一层业务抽象，即一个模型层来统一维护业务的逻辑、业务定义的字段、数据层级和衍生计算等，而无需关心底层的技术复杂度和实现。

对于企业内有数据分析需求的人来说，不论其数据分析能力如何，他们都能更容易地发现、理解和利用可信赖的数据，这就是语义层带来的价值。

本质上来说，语义层可以理解为数据源与 BI 分析之间的「桥梁」，提供逻辑连接、建模和其他数据操作功能。所有 BI 和分析数据都可通过语义层进行连接，因此，所有 BI 和数据分析用户都能以相同的方式查看相同的数据。

Gartner 在分析报告《如何使用语义驱动数据的商业价值》中指出，来自不同业务线的自助式分析数据用户，对数据资产形成统一的理解和认知格外重要。企业通过语义层为用户带来统一的数据分析和管理体验，才能更好地发挥数据的商业价值。

语义层可以帮助企业实现：创建数据资产之间的关联，获得对数据更全面的视角；更广泛的对数据业务理解的一致性，避免理解的偏差。

语义层应具备的关键能力

说了这么多，语义层仍是一个逻辑上的概念。对于企业来说，要想真正落地语义层，实现上文美好的愿景，首先应当了解语义层应具备的关键能力：

共享的业务逻辑和口径

语义层应包含业务分析所需的核心逻辑，将底层的数据模型转化为用户熟悉的业务信息（维度、度量、层级结构），同时包含更多经过二次加工才能使用的衍生度量，如常见的同环比，月累计，年累计等。

实现语义在不同下游应用的复用性

通过开发多种通用的查询接口，统一的语义层可以被多次复用到不同业务的数据分析，以及业务洞察的终端。对于企业的不同需求，这些终端提供定期的业务洞察推送，它可能是一个 BI 工具，也可能是一个微信小程序，其中统一语义层的价值就在于满足企业内不同人员、不同场景下的多种分析需求。

统一的安全策略

用户和数据访问管理需要确保可以统一配置在语义层，同时作用到所有下游的分析或业务应用，IT 无需对下游系统再额外配置数据访问控制。

对接高性能引擎支撑业务计算的能力

一方面，企业用户对语义层的访问量会随着业务场景而增多；另一方面，由于提供更全面的数据视角，对海量详细数据的查询要求也更高，统一语义层背后需要对接高性能引擎，来支撑业务计算的能力。

开放的生态和云上部署的可行性

语义层的重要价值就是让企业内不同业务的分析人员都能统一访问同一套业务语义。那么，如果语义层仅能在某个固定厂商软件中使用，而不能对接丰富的各种生态，落地时就会遇到重重阻碍。尤其是云原生架构日趋成为主流选择，企业的数据往往存储在本地和云端等不同地方。支持云上部署的语义层正满足了当下企业云端部署的诉求，也是未来 IT 架构的发展趋势。

点击观看“Kyligence 统一语义层”视频

近几年来，Kyligence 在服务多个企业级客户时，也进一步证明语义层在企业级部署场景下是具有关键价值。在助力多个客户成功落地指标平台、统一语义层的同时，Kyligence 也在不断打磨自身产品以及解决方案，现提供以下能力为企业提供可落地的统一语义层服务:

支持 SQL，MDX，Rest API 多种查询接口

统一语义层将复杂的数据映射为业务语言，并以服务的形式为每一个数据分析用户在 PB 级别数据规模上，提供统一的数据定义及行业标准的访问接口（标准 SQL 及 MDX）。 

统一的安全策略 

通过将割裂的 BI 分析负载集中到大数据平台上，Kyligence 也帮助企业降低数据分散在不同业务系统带来的数据安全风险。用户和数据访问管理可以统一配置在大数据平台的数据资产层，并作用到所有上层业务应用。因此 IT 无需对下游系统再配置额外的数据访问控制。

AI 增强引擎 

Kyligence 利用大数据分布式计算能力对数据进行预计算，AI 智能引擎能够自动识别用户的查询模式并自动在后台进行计算。

同时，Kyligence 利用 Spark 的分布式架构进行数据处理，以低廉的集群资源进行存储，这些聚合会自动创建并存储在大数据集群中。基于机器学习，Kyligence 能够助力企业从 SQL 历史记录、分析师行为、数据采样及运行时指标中自动发现和查找最有价值的数据。

本地或云端：灵活的部署模式 

云上部署日益成为企业数据管理和分析的主要部署模式，为了保护今天的技术投资不在未来贬值，企业在选择语义层时也应考虑其能否原生适配云上的整体架构，从数据源的接入、转换、语义建模、到对接下游应用， Kyligence 能够助力企业建立端到端的云上大数据平台，并提供统一的云上语义层。

深入研究行业领先的 BI 、大数据技术厂商对于语义层的能力定义，统一语义层所具有的共性特征为：

• 语义的可复用性
• 统一离散数据源，提供单一版本数据事实
• 提供多种接口，服务企业内各类数据消费人群
• 统一的 IT 安全和管控

上述语义层能力面向企业级的数据分析平台，能够打通企业内的所有数据孤岛，实现统一的数据管理和服务。在实际情况下，企业通常都有多种 BI 分析工具，将数据整合在一起的时候，数据量都非常庞大，因此企业在选择语义层方案时还需要考虑：

• 多种 BI 对接能力和丰富的开放接口
• 支持海量数据的处理或支持对接海量数据计算引擎
• 支持云上的部署模式，以适应未来 IT 发展趋势，保证技术投资不在未来贬值

参考文献：

[1] How to Use Semantic to Drive the Business Value of Your Data:  https://www.gartner.com/en/documents/3894095/how-to-use-semantics-to-drive-the-business-value-of-your

[2] 10 Enterprise Analytics Trends to Watch in 2020: https://www.microstrategy.com/getmedia/462cb6e5-129c-4678-bdac-c321149bd075/MicroStrategy-10-Enterprise-Analytics-Trends-to-Watch-in-2020_FINAL.pdf

关于 Kyligence

Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUM、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合作伙伴。