近日，全球权威的技术研究与咨询公司 Gartner 发布了《揭秘服务自助式分析的语义层》(Demystifying Semantic Layers for Self-Service Analytics) 研究报告。企业级数据管理与服务厂商 Kyligence 成功入选“数据湖和数据湖支持平台” (Data Lakes and Data Lake Enablement Platforms) 代表厂商。
全球数据分析及管理的专业技术人员都在致力于为用户提供能够平衡敏捷和管理的自助式分析，而语义层则能够有力推动企业自助式分析的落地。Gartner 这一研究报告旨在帮助专业技术人员比较构建和部署语义层的不同选项。Kyligence 入选的“数据湖和数据湖支持平台”正是企业构建和部署语义层的选择之一。
数据已经从集中走向天然分布，这些分散在各处的数据也给企业带来了更多新的挑战。越来越多的企业意识到传统的数据仓库技术已经无法满足新的业务需求，越来越多人开始考虑向外扩展的数据湖架构模式。
数据湖的特点在于能够实现广泛、灵活和无偏见的数据探索和发现。这一特点对于高级分析形式十分重要，例如数据挖掘、统计和机器学习等。与数据仓库不同，数据湖保留了源数据的原始细节，以实现最丰富的数据探索、发现和分析相关性。
为什么要选择使用“数据湖和数据湖支持平台” 构建语义层？
对于企业而言，在数据湖的顶部构建语义层可以解决数据湖在可理解性、性能和 SQL 访问等方面的一些常见问题，通过这样的形式数据湖变得更像是湖仓一体，可以让用户进行更容易、更可靠的分析。
对数据湖设计比较熟悉的技术专业人士表示，数据湖应该是补充而不是取代数据仓库。大多数据仓库最初是为报表以及旧形式的分析而设计的，而大多数据湖的构建更多是为了支持新型和先进的分析形式，这对企业进行数字化转型和创新改革也是至关重要的。商业报告需要深度优化的数据和详细的审计跟踪，而高级分析和数据科学需要大量详细的源数据，来进行极端的数据探索和发现分析。
这就是为什么尽管数据湖和数据仓库的数据可能是来自相同的来源，但存储在两者中的数据存在很大的不同。因此，如果可以将数据湖和数据仓库集成在同一套架构，就能够支持广泛的业务用例和数据管理策略。对于高级数据科学家而言，为了更好地根据这些来源中的数据创建高级分析，他们不应该花费过多时间在数据工程上。此外，平民分析师也需要访问企业托管在数据湖中的数据。
考虑到上述问题，如果企业想在数据湖的数据之上提供对 SQL 查询支持，对数据湖支持平台的投入是至关重要的。当然，考虑到云厂商提供低成本的数据湖存储，也有一些技术专业人员选择数据湖技术，然后在现有的云原生数据之上提供数据和分析服务。
近几年来，Kyligence 在服务多个企业级客户时，也进一步证明语义层在企业级部署场景下是具有关键价值的。Kyligence 智能数据云（Intelligent Data Cloud）继承和延续了数据仓库、数据湖、湖仓一体等技术体系，既有数据湖低成本存储和可扩展性，也有数据仓库的强化数据结构和数据管理能力。未来，Kyligence 也将继续秉持专业的态度，提供优质的产品及解决方案助力全球客户进行数字化转型。
Kyligence 由 Apache Kylin 创始团队创建，致力于打造下一代智能数据云平台，为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术，Kyligence 从多云的数据存储中识别和管理最有价值数据，并提供高性能、高并发的数据服务以支撑各种数据分析与应用，同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001，ISO27001 及 SOC2 Type1 等各项认证及审计，并在全球范围内拥有众多生态合作伙伴。
